Recommandé
Recommandé
Contenu connexe
Similaire à ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"
Similaire à ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?" (20)
ビジネス価値を産み出す "攻めのデータマネジメントの姿とは?"
- 3. 本チュートリアルについて 「データはあるのに価値を産み出せていない」。多くの企業に共通するこの問題 は、単にデータサイエンティストを雇えば解決するのでしょうか。あるいはコモ ディティ化しつつある機械学習や AI を活用すればなんとかなるのでしょうか？も しかすると、真の問題は適切なデータマネジメントを実施できていないことにある のかもしれません。本講演では、本来業務にプラスワンの付加価値をもたらす機械 学習や AI, データサイエンスなどの活用および実践に向けて、システム・データ・ 組織の観点から、どのような準備が必要かを解説します。IT チームとビジネスチー ムの双方がデータに関する視点を共有し、ワンチームとして価値創出するきっかけ となることを目的としています。 受講対象者： ①データマネジメントの基礎を習得した上で、ビジネス貢献を目指す中上級データ エンジニア ②機械学習・AI 活用を考えている企業のデータ戦略担当者 ③データマネジメント組織のマネージャー
- 8. システムのはなし
- 9. データ全部入りの DWH DWH DWH データマネジメント データサイエンティスト 機械学習エンジニア BI/レポーティング用に， 既に DWH が整備されている 「データウェアハウス ありますか?」
- 10. 機械学習で できること データサイエンスで できること 回帰 分類 因果 現象を 説明 数値を予測する 例) 来月の販売数量を当てる どちらか(何か)を予測する 例) 画像に写っている商品を当てる 結果→原因を見つける 例) TVCM は売上増に何%寄与したか? 数理モデルを見つける 例) 価格を10%下げると販売数量は? 複合 タスク 複合 タスク 人間の代わりに何かする 例) 自動運転，チャットボット 見えないルールを見つける 例) 利益を最大化する戦略づくり どれも，過去のデータ（これまでの実績値＋過去につくった予測・計画） を利用する
- 11. 例）あなたはドラッグストアの仕入れ 担当者，マスクの売上を予測したい 問. 過去何日間の販売データがあればよいか? 1) 90 日間 2) 360 日間 3) 1440 日間
- 12. 機械学習・データサイエンスに必要な データの種類 • 実績値（例: 販売実績，在庫実績） • 計画値（例: 売上目標，展開店舗数） • マーケティング計画（広告，チラシ，POP) • 外部環境（天候，ニュース，事件）
- 13. その DWH 全部入りですか?
- 14. もっと重要なのは 1) データ一箇所に集っていること 2) インタフェースが提供されていること 3) 高頻度のアクセス・高負荷に耐えること
- 15. Data Lake 財務会計 販売 (POS) 在庫 物流 マーケティング 顧客 店舗 Web アプリ 天候 イベント 経済指標 SQL API 高頻度・大量データへのアクセス
- 16. Data Lake から DWH へ Data Lake (初期) Data Lake (全部入り) DWH (理想) 必要なデータから揃えていく （優先順位づけ） Raw データでよい (機械学習エンジニア・データ サイエンティストが自力で何と かする） SQL で問合せできればよい （プログラムからアクセスでき ればよい） ただし，高負荷・高頻度のアク セスには耐える必要 データ収集の待ち時間を無くし てスピードアップ Raw データでよい，が，構造 化・前処理されていて，テーブ ルデータになっていると嬉し い SQL で問合せできればよい， が，高度な API があるとなお よい ただし，高負荷・高頻度のアク セスには耐える必要 Data mart/cubu が用意され ていて自分でつくる必要がない データベースが最適化されてい て，必要なデータを最速で取 得できる データ品質が担保されており， クレンジングなどの工程をス キップできる メタデータリポジトリが整備 されていて業務担当者に問い合 わせなくてもデータを理解で きる
- 17. システムのまとめ • 全部入り DWH があると最高なのだが，重要なのは DWH よりデータ。Raw データでもよいので data lake をつくって必要なデータを集めきる。 • BI/レポーティングとは異なり， 機械学習・データサイエンスのモデリング中 は大量のデータに高頻度でアクセスする。定型処理ではないので，事前に cube などを作って負荷を抑えることができない。 DWH とは異なるアーキテ クチャの採用が必要。 • 内部データだけではなく，外部データの取り込みにも対応する必要。 • 長期間のデータを低コストで保存・管理する仕組みが必要。
- 18. データのはなし
- 20. 例）One-to-one マーケティング ある商品の DM を送るべき人を見つけよう。 北海道在住 30 代女性 過去 28-42 日 で類似購入履歴あり 顧客 販売 商品 過去5年分
- 21. 例）One-to-one マーケティング ある商品の DM を送るべき人を見つけよう。 北海道在住 30 代女性 過去 28-42 日 で類似購入履歴あり 東京都在住 1年前 顧客 販売 商品
- 22. 例）One-to-one マーケティング ある商品の DM を送るべき人を見つけよう。 北海道在住 30 代女性 過去 28-42 日 で類似購入履歴あり モデルチェンジ 一年前 顧客 販売 商品
- 23. 過去の任意の時点を 今日再現できるデータ マスターデータマネジメントが最重要 • タイムマシン • エンコーディングの変更 北海道在住 30 代女性 過去 28-42 日 で類似購入履歴あり 顧客 販売 商品
- 24. Data Lake はあるが，。。。 財務会計 販売 (POS) 在庫 物流 マーケティング 顧客 店舗 Web アプリ 天候 イベント 経済指標 SQL API 高頻度・大量データへのアクセス
- 25. よくある言い訳 • どこに欲しいデータがあるか分からない • コードの定義が分からない • データをどこまで信用してよいのか分からな い。汚いデータでもよいのだが，さすがに全て の項目を目視で確認していられない。 • どのようにデータが作られているか分からない
- 26. 機械学習エンジニア， データサイエンティスト向けの セルフサービス メタデータマネジメントが重要 • どのようにデータが生成されるか • データ品質の定義 • ビジネスプロセス • 検索可能なメタデータリポジトリ
- 27. 仕事は RDBMS ではなく Computing Engine （別のサーバー）で行う DWH ダッシュボード 帳票 BI 的な使い方 機械学習・データサイエンス 集計値だけが DWH の外に出て Raw データはコピーされない Data Lake から raw データが 外の環境（別サーバ）にコピーされる サーバー 成果物
- 28. これはとてもこわい使い方
- 29. GDPR, 個人情報保護法対応 • Data deletion • 個人から要望があった場合に，その個人に関す る全ての情報を確実に消去できる仕組みが必要 • 開示 • その個人に関して，どのような情報を収集し， 保有しているかを開示する義務
- 30. Data lake からコピーされて外に出たデー タについて追跡する必要 機械学習・データサイエンス Data Lake から raw データが 外の環境（別サーバ）にコピーされる サーバー 成果物 Data Linage の 仕組みを data lake だけでなく， 機械学習・データサイエンスの 実務環境にも導入する必要 データライフサイクルマネジメント の仕組みを導入して，確実に 不要なデータが消去される仕組み
- 31. データマネジメントまとめ • マスターデータマネジメント • 機械学習・データサイエンスは「過去」のデータを利用するが，これは「過去の任意の時点 を現在基準で再現する」という意味。 • メタデータマネジメント • 機械学習エンジニア・データサイエンティストが自力でデータに関する疑問を解消できるよ うにする • そもそも，疑問が起きないようにして，彼らの業務をスピードアップする • Data Linage/データライフサイクルマネジメント • GDPR, 個人情報保護対応 • Raw データを扱う機械学習・データサイエンス業務は，個人情報が DWH/Data lake 外にコ ピーされる。これを適切に管理する仕組み
- 32. 組織のはなし
- 33. 正解はないです
- 37. 組織のまとめ • 組織構造には正解がないが，機械学習・データサイエンスを推進する上 で必要な機能はある • 機械学習エンジニア・データサイエンティス目線で必要な 4 つの機能 • 経営企画・戦略 • データガバナンス • データエンジニアリング • データ活用 • BI/レポーティング，機械学習，データサイエンス