Recommandé
Contenu connexe
Similaire à 220804_kohno_CTR_prediction.pdf
Similaire à 220804_kohno_CTR_prediction.pdf (18)
220804_kohno_CTR_prediction.pdf
- 1. Click-Through Rate Prediction in Online Advertising: Aliterature Reviewの要約 樋口研究室・修士２年 河野陽日 中村研・樋口研合同ゼミ
- 2. 目次 1. Click-Through Rate Prediction 2. 過去研究 3. CTR Predictionの今後の展望など 2022/8/2 樋口研究室 2
- 3. 1. Click-Through Rate Prediction 2022/8/2 樋口研究室 3
- 5. Click-Through Rate（クリック率） • CTRの向上はオンライン広告の効果を最大化させるのに必須指標 • CTR(%) = クリック数 / インプレッション数（広告の表示回数） * 100 • CTR予測に関する様々な問題に対して、アルゴリズム設計の詳細については、 既存の研究によって明らかとなっている • しかし、その方法論の進化やモデリングの枠組みとの間の関連性については不 明な点が多い 2022/8/2 樋口研究室 5
- 7. CTR予測に使われる特徴量 • advertising features • user features • context features • query features • publisher features 2022/8/2 樋口研究室 7 ほとんどの場合、生データをモデルに入れるには特徴量エンジニアリングをする必要がある。 現在、この特徴量エンジニアリングを自動で行う予測モデルが開発され始めている（PNN, DeepFM）。 CTR予測に使われるデータはスパース性を持っていることに注意する必要がある。
- 8. CTR予測における評価指標 • Precision • recall • F1-score • accuracy • AUC-ROC • AUC-PR • RelaImpr • Logloss • MSE • RMSE • RIG • field-level calibration 2022/8/2 樋口研究室 8 普段使うような指標と一緒
- 9. CTR予測モデル • 多変量統計モデル • ロジスティック回帰 • Degree-2 Polynomial (Poly2) • Factorization Machines（FMs）basedモデル • Factorization Machines • Field-aware Factorization Machines (FFMs) • Field-weighted Factorization Machines (FwFMs) • 深層学習モデル • LSTM • CNN • Factorization Machine supported NN (FNN) • DeepFM • 決定木モデル • GBDT 2022/8/2 樋口研究室 9
- 10. 2. 過去研究 2022/8/2 樋口研究室 10
- 11. モデルは２つのグループに分類できる 2022/8/2 樋口研究室 11 • 深層学習モデル • 決定木モデル 高次（>2）のモデル • 統計的手法 • FMsベース 低次（<=2）のモデル • LRは単純にここの特徴量を使う • Poly2は組み合わせ特徴量を使う • FMsベースのモデルはデータがスパースな時に 使う • その中で、FMsは２次的な特徴量の相互作用を 備え、FMMは異なるフィールドのペア間の特徴 量の相互作用の差を考慮し、FwFMはFMsと FFMの長所を組み合わせて、予測性能を確保し つつ、パラメータ数および計算量を削減するもの • LSTMは長期的な依存関係を持つ問題の予測に 適している • DNNは局所的な特徴の相互作用を優先してパ ラメータ数を減らす • FNNとPNNはFMとDNNをカスケードして高次特 徴の相互作用を実現する • Wide&DeepとDeepFMは妖精の低次特徴相互 作用と陰性の高次特徴相互作用を同時に実現 する
- 12. パブリックデータセット • Criteo-Kaggle display advertising challenge 2014 • Avazu • KDDCUP 2021 track この３つが現在頻繁に使用されるデータセット 上２つは８年前と７年前のデータなので結構古いと思うが現在でもよく使われてい るらしい。 Criteoには別サイトで１TBのデータが公開されているため、こちらのデータの方が 学術シーンでよく使われていそう。（Kaggleの方は５０.５MBのzipファイルなので 個人的に使うには良い） 2022/8/2 樋口研究室 12
- 13. モデルの性能評価（※参考文献の表７を参考してください） • 精度が高いのは深層学習が中心 • FMと統計的手法を比較すると、ほとんどの研究でAUC, Logloss, RMSE, ACC, RelaImpr, RIGにおいてFMが優位 • さらに、FMとその主要な拡張モデル（FMM, FwFM）を比較すると、拡張モデル の理論的向上を肯定的に示している • FMMとFwFMの性能に関しては議論されており、どちらが上かは定かではない • 深層学習モデルで最も性能が良いのはDeepFMとPNNと示されている • さらに、DeepFMの拡張モデルのxDeepFMは、より性能が良いことが数々の研 究で示されている • PNNとxDeepFMでは賛否両論の状態 2022/8/2 樋口研究室 13
- 14. ビジネスの現場では何が使われているのか • 参考までに現在自分のアルバイトでは決定木を使用 • 理由は計算リソースの不足 • オンラインのレコメンドでは、ユーザーのリクエストに対し、数msの時間でコンテ ンツを推薦し、表示しなければいけないため、深層学習を使うにはかなり費用が かかると思われる • 学術シーンでは深層学習が優位的であることはほぼ証明されているのでリソー スとの闘いになる（？） 2022/8/2 樋口研究室 14
- 15. 3. CTR Predictionの今後の展望 2022/8/2 樋口研究室 15
- 16. • FMsフレームワークで２次元の特徴量の相互 作用を表現した特徴量を作成し、高次元な データに拡張することで性能向上をしたりし ている • 数値データに関して以下のような特徴量エン ジニアリングの研究がされている • 数値分野ごとのメタエンべディング • エンべディングを特徴量間の相関を捉えるた めの微分離散化 • 各特徴量の連続表現を学習するための集約 関数によるエンべディング • GBDTを主要コンポーネントとしたアンサンブ ルモデリング • 近年では、FMとDNNっで構成される、アンサ ンブル深層学習が話題になっている • 深層学習のリソース問題に対しては以下の ような研究がされている • 並列化スキームの作成 • 並列化における通信コストを削減するために、 DCT という圧縮フレームワークを提案 • メディアプロバイダにとってレイテンシは非常 に重大な懸念事項であるため、CTR予測用 の分散学習システムが開発されたりもしてい る 現在の研究トレンド 2022/8/2 樋口研究室 16 特徴量エンジニアリング モデリング
- 18. 将来的な研究 2022/8/2 樋口研究室 18 Graph Neural Network • 特徴相互作用をグラフで統合し、より優れた モデルの作成 • 広告をつなぐグラフを構築し、コールドスター ト問題を解決 Explicit Representation of High-order Feature Interactions • 高次な特徴量相互作用を明示的にすることで モデルの解釈性を上げる • 特徴量を増やしたときに予測性能に与える影 響を考慮する Neural Architecture Search • 可能なすべての特徴量の組み合わせから有用 な特徴相互作用を自動的に特定し、これらの 相互作用を捉えるための適切な構造を選択す る • モデリングフレームワークを自動的に構築する Understanding User Behaviors • CTR予測モデルの性能向上 • 強化学習に基づくノイズフィルタリングアプロー チを提案し、効果的なネガティブサンプルを同 定 • 逐次行動情報をマイニングすることでユーザー の興味を捉える Advertising Characteristics • 広告の位置や、周囲の広告からの外部性効果 によって、広告特性の威力に注目する CTR Prediction for Multimedia Ads • 従来使用されている特徴量だけではなく、画像 や映像の特徴量も使用し、マルチメディア広告 ならではのCTR予測を行えるようにする
- 19. 参考文献 • Yang, Yanwu, and Panyu Zhai. "Click-through rate prediction in online advertising: A literature review." Information Processing & Management 59.2 (2022): 102853. 2022/8/2 樋口研究室 19