Soumettre la recherche
Mettre en ligne
KDD 2016勉強会 Deep crossing
•
Télécharger en tant que PPTX, PDF
•
3 j'aime
•
2,583 vues
正志 坪坂
Suivre
KDD 2016勉強会資料
Lire moins
Lire la suite
Sciences
Signaler
Partager
Signaler
Partager
1 sur 13
Télécharger maintenant
Recommandé
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
LDA入門
LDA入門
正志 坪坂
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
DataWorks Summit/Hadoop Summit
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
whywaita
運用自動化に向けての現場からの課題
運用自動化に向けての現場からの課題
Yoshiki Ishida
Yapc::Asia_2012
Yapc::Asia_2012
Masaru Hoshino
Recommandé
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
LDA入門
LDA入門
正志 坪坂
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
DataWorks Summit/Hadoop Summit
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
作って(壊して?)学ぶインターネットのしくみ サイバーエージェントの実験用ASの紹介 / Introduce experimental AS in ...
whywaita
運用自動化に向けての現場からの課題
運用自動化に向けての現場からの課題
Yoshiki Ishida
Yapc::Asia_2012
Yapc::Asia_2012
Masaru Hoshino
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
株式会社スカイアーチネットワークス
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
MicroAd, Inc.(Engineer)
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
Angularreflex20141210
Angularreflex20141210
Shinichiro Takezaki
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
Yahoo!デベロッパーネットワーク
45分で理解する ドッコムマスタートリプルスター受験対策 2012
45分で理解する ドッコムマスタートリプルスター受験対策 2012
Yukio Saito
mi-4. 機械学習
mi-4. 機械学習
kunihikokaneko1
Intalio japan special cloud workshop
Intalio japan special cloud workshop
Daisuke Sugai
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
MapR Technologies Japan
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
Knowledge & Experience
Introduction to NetOpsCoding#2
Introduction to NetOpsCoding#2
Taiji Tsuchiya
ネットワーク運用自動化のためのサービス・運用設計
ネットワーク運用自動化のためのサービス・運用設計
Yuya Rin
アジャイルにモデリングは必要か
アジャイルにモデリングは必要か
Hiromasa Oka
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
Takahiro Kubo
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
tm1966
tfug-kagoshima
tfug-kagoshima
tak9029
20171206 Sony Neural Network Console 活用テクニック
20171206 Sony Neural Network Console 活用テクニック
Sony Network Communications Inc.
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
bitbank, Inc. Tokyo, Japan
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
BrainPad Inc.
クリーンアーキテクチャを試してみた
クリーンアーキテクチャを試してみた
Takuya Matsunaga
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
Contenu connexe
Similaire à KDD 2016勉強会 Deep crossing
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
株式会社スカイアーチネットワークス
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
MicroAd, Inc.(Engineer)
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
HironoriTAKEUCHI1
Angularreflex20141210
Angularreflex20141210
Shinichiro Takezaki
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
Yahoo!デベロッパーネットワーク
45分で理解する ドッコムマスタートリプルスター受験対策 2012
45分で理解する ドッコムマスタートリプルスター受験対策 2012
Yukio Saito
mi-4. 機械学習
mi-4. 機械学習
kunihikokaneko1
Intalio japan special cloud workshop
Intalio japan special cloud workshop
Daisuke Sugai
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
MapR Technologies Japan
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
Knowledge & Experience
Introduction to NetOpsCoding#2
Introduction to NetOpsCoding#2
Taiji Tsuchiya
ネットワーク運用自動化のためのサービス・運用設計
ネットワーク運用自動化のためのサービス・運用設計
Yuya Rin
アジャイルにモデリングは必要か
アジャイルにモデリングは必要か
Hiromasa Oka
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
Takahiro Kubo
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
tm1966
tfug-kagoshima
tfug-kagoshima
tak9029
20171206 Sony Neural Network Console 活用テクニック
20171206 Sony Neural Network Console 活用テクニック
Sony Network Communications Inc.
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
bitbank, Inc. Tokyo, Japan
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
BrainPad Inc.
クリーンアーキテクチャを試してみた
クリーンアーキテクチャを試してみた
Takuya Matsunaga
Similaire à KDD 2016勉強会 Deep crossing
(20)
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
スカイアーチセミナー:[スカイアーチNTTCom共催セミナー]事例で学ぶ賢いクラウド活用法 ~コンテンツ配信編~(事例セッション):150522
アドテクを支える技術 〜1日40億リクエストを捌くには〜
アドテクを支える技術 〜1日40億リクエストを捌くには〜
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
機械学習応用システムのアーキテクチャ・デザイパターン(2020-07 ドラフトバージョン))
Angularreflex20141210
Angularreflex20141210
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
YJTC18 D-4 AnnexML: 近似最近傍検索を⽤いたextreme multi-label分類の⾼速化
45分で理解する ドッコムマスタートリプルスター受験対策 2012
45分で理解する ドッコムマスタートリプルスター受験対策 2012
mi-4. 機械学習
mi-4. 機械学習
Intalio japan special cloud workshop
Intalio japan special cloud workshop
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
実践機械学習 — MahoutとSolrを活用したレコメンデーションにおけるイノベーション - 2014/07/08 Hadoop Conference ...
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
ChatGPT(LLMによる生成系AI)の追加学習を No Code で行う ~ 概念モデリング教本を元に ~
Introduction to NetOpsCoding#2
Introduction to NetOpsCoding#2
ネットワーク運用自動化のためのサービス・運用設計
ネットワーク運用自動化のためのサービス・運用設計
アジャイルにモデリングは必要か
アジャイルにモデリングは必要か
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
画像認識モデルを自動的に作る。1日以内に。~Simple And Efficient Architecture Search for Convolutio...
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
Introduction of network analysis with Google Colaboratory -- Example of Netwo...
tfug-kagoshima
tfug-kagoshima
20171206 Sony Neural Network Console 活用テクニック
20171206 Sony Neural Network Console 活用テクニック
TypeScript製フレームワーク「Nest」のご紹介
TypeScript製フレームワーク「Nest」のご紹介
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
クリーンアーキテクチャを試してみた
クリーンアーキテクチャを試してみた
Plus de 正志 坪坂
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
static index pruningについて
static index pruningについて
正志 坪坂
NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
正志 坪坂
Plus de 正志 坪坂
(20)
Recsys2018 unbiased
Recsys2018 unbiased
WSDM2018Study
WSDM2018Study
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
Deeplearning勉強会20160220
Deeplearning勉強会20160220
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
Recsys2015
Recsys2015
KDD 2015読み会
KDD 2015読み会
Recsys2014 recruit
Recsys2014 recruit
EMNLP2014_reading
EMNLP2014_reading
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
KDD2014_study
KDD2014_study
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
Introduction to contexual bandit
Introduction to contexual bandit
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
Tokyowebmining2012
Tokyowebmining2012
static index pruningについて
static index pruningについて
NIPS 2012 読む会
NIPS 2012 読む会
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
KDD 2016勉強会 Deep crossing
1.
Deep crossing: Web-scale modeling
without manually crafted combinational features リクルートテクノロジーズ 坪坂正志
2.
2Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. 論文概要 • Web検索連動広告のクリック予測などのタスクにおいて、人手による 組み合わせ特徴量がよく用いられる • 例えば広告のマッチングタイプ✖クエリなど • 本論文では組み合わせ特徴量を用いず、組み合わせの部分は多 層のニューラルネットで自動で学習する方法を提案する
3.
3Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. ニューラルネットワークの構造 • 提案しているニューラルネットワークはFeatureのEmbedding Layerと多層のResidual Unitsから構成される
4.
4Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. Residual Unit • 通常のNeural networkが左の入力に対して非線形な操作をかけていったときに 求めたい出力H(x)を学習するのに対して、Residual netはH(x)とxの差分F(x) を学習する • これによって最適な関数がidentityに近い時に微小な変化を学習するような関数 を学習することができる
5.
5Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. CNTKによるソースコード
6.
6Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. 参考 TensowflowによるResidual Unitのコード
7.
7Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. Embedding Layer • 広告のキャンペーンIDやユーザが訪問したURLのような特徴量は1-of-k 表現 した際に通常何百万次元となる • これをResidual netの入力とすると大量のパラメータを学習する必要が出てくる ため、入力層を低次元にEmbedするLayerを導入する
8.
8Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. Stacking + Network architecture • 下図のようにクエリ、広告キーワードなどをEmbeddingした Layerを一つにつなげ、その先は多層のResidual Unitを結 合したものを使って学習を行う
9.
9Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. Early crossing vs Late crossing • Webによる同様の研究としてはDSSMというクエリと広告のマッチングでクエリ の表現と広告の表現を深層学習で学習するという手法は存在した • があとで実験するようにDeep crossingの方が精度が高い
10.
10Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. 実験データ
11.
11Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. パフォーマンスの比較 (テキスト情報のみ) • テキスト情報のみを利用した場合でもDeep Crossingの方がDSSMよりも 相対的に精度が高い
12.
12Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. パフォーマンス比較 (全情報) • 全情報を利用した場合はDeep Crossingの方が Productionよりも高い精度となった
13.
13Copyright © Recruit
Technologies Co., Ltd. All Rights Reserved. まとめ • データからドメイン知識を使わずにDeep Learningから自動でクリッ クを予測する仕組みを提案した • 大量のデータと大量の計算資源を使うことによって、Productionよ りも高い性能を達成した
Télécharger maintenant