SlideShare une entreprise Scribd logo
1  sur  33
© 2015 Metaps Inc. All Rights Reserved.
Facebookの人工知能アルゴリズム
「Memory Networks」について
調べてみた
株式会社メタップス
研究推進担当  
礼王懐成
© 2015 Metaps Inc. All Rights Reserved.
調査・資料作成	
礼王 懐成	
Keo Darawong	
•  株式会社メタップス(研究開発部門)所属	
•  東京大学大学院 工学系研究科 卒業	
•  人工生命研究所(役員)、東京大学先端科学技術研究セ
ンター特任助手、独立やベンチャーを経てメタップスへ	
•  大学院学生時代は大脳基底核と前頭葉ループにおける運動系列強化学習を研究。 
問題解決法に興味を持ち人工知能の研究開発を行なっているベンチャー会社へ。  
機械学習を用いた自然言語解析や画像認識や知識推論の研究開発(接地問題に
挑戦)。 金融工学や検索エンジン(マップ検索も含む)も経験。 画像認識機能を持つ
自然言語対話システムのための要素技術の研究開発。 トピックモデルなど自然言語
解析を用いたマーケティングの研究開発。
© 2015 Metaps Inc. All Rights Reserved.3
出典:http://qz.com/370089/everything-facebook-announced-today-at-f8/
© 2015 Metaps Inc. All Rights Reserved.
•  FaceBook AI リサーチが開発した文章理解
を行う人工知能アルゴリズムである。	
•  Memory Networksは文章を読み込み、誰
が何を持っているか、あるいはどこに物が
置いてあるかなどを回答する。	
Memory Networks とは?
© 2015 Metaps Inc. All Rights Reserved.
•  例えば、指輪物語の内容を数行にまとめたコンテ
ンツをAIが理解している様子が見て取れる。
•  AIはこのファンタジー小説の予備知識やキャラ
クターについては知らない。
•  AIはFacebookのこの機能のおかげで、ストーリ
ーの内容についての質問に答えることができる。	
Memory Networks とは?
© 2015 Metaps Inc. All Rights Reserved.
•  長期メモリを活用して、論理的な推論を
必要とする質問に対しても回答ができる。
•  テキストを明示的に論理式に変換するこ
となく、embedding model をいくつか組
み合わせたネットワークを用いて論理推
論の機能を持つ質問応答を行う。
Memory Networksの特徴
© 2015 Metaps Inc. All Rights Reserved.
以下の2点のように従来の知識ベースア
プローチが作業を行わない。
	
1)  知識データベースの構築のための情報
抽出の原理を作る。	
2)  構築されたデータベースを用いて推論を
行う。	
つまり?
© 2015 Metaps Inc. All Rights Reserved.
従来の論理推論(日本語)
形態素解析	
係受け解析	
項構造解析  or  意味役割解析	
一階述語論理に変換	
論理推論
© 2015 Metaps Inc. All Rights Reserved.
形態素解析をしたものをembeddingしてメモリに保存して推
論をするため、大規模な長期記憶も理論的には推論できる。
Memory networksの場合	
形態素解析	
メモリに保存	
推論
© 2015 Metaps Inc. All Rights Reserved.
メリットと課題	
l 従来の方法だと論理知識が増えるとメンテ
ナンスと推論が大変だったが、この方法は
拡張性と効率性に優れている。	
	
l 汎用性に関しては疑問視されている。複雑
な構文には対処できず、簡単な文章しか解
析できないのが課題。
© 2015 Metaps Inc. All Rights Reserved.
I: ( input feature map ) - 入力データを内部素性表現に変換する。	
	
G: ( generalization ) - 新たな入力をもとに古いメモリを更新する。	
	
O:( output feature map ) - 素性表現空間に新しい出力の生成。	
	
R( response ) - 出力を求められた形式に出力をする。	
処理の概要	
	
1、xを内部素性に変化する。	
	
2、新しい入力xに対して、メモリm_i をアップデートする。	
	
3、出力feature oを与えられたメモリ  	
	
4、最終的なfeature o最終的な応答とする。 	
Memory Networks の構成	
 [Weston, J., 2015a]
© 2015 Metaps Inc. All Rights Reserved.
(1) 式のH(x) xに対してスロットを選択する関数である。	
入力xに対して,N個のメモリmiから関数を最大なものを選択する。	
一回目の得られた最適なメモリと入力と残りのメモリ選択する。	
一回目の得られた最適なメモリと入力と残りのメモリ選択する。Wは辞書	
詳細な処理ステップ
© 2015 Metaps Inc. All Rights Reserved.
行列Uは,n×Dの行列Φx, ΦyはテキストデータをD次元にマップする。
もっとも簡単な実装法はBOWである。
単語の辞書をWとした時に、D =3|W|とする。Wにあるすべての単語は3
つの異なる表現をする。
Φyが1つ、Φxが2つで入力なのかメモリからなのかで分類される。
	
コア関数の詳細
© 2015 Metaps Inc. All Rights Reserved.
k=2に対して SoやSrの重みであるUoやUrを確率的勾配降下法(SGD)を用いて最適化
する。
教師データとしては、質問x、最終回答であるr、回答を得るために参照する事項
(supporting facts)f1,f2を用いる。
マージンをγ= 0.01~0.1
学習関数
© 2015 Metaps Inc. All Rights Reserved.
文章の切れ目が確認できない入力に対して、(9)の式で切り分ける。
時間順序を関数に導入する。
未知の単語に対して、周辺情報の単語を参考に計算を行う。
その他拡張の機能関数
© 2015 Metaps Inc. All Rights Reserved.
メモリに記入した時間順序を考慮した学習関数で、これを最適するように重みUo
を計算する。
時間順序を考慮した学習関数
© 2015 Metaps Inc. All Rights Reserved.
もっとも簡単なタスクで、回答が含まれる文が一つの場合の質問タスク。
	
例えば、以下のように人物がどこにいるかを質問する場合。	
John is in the playground. Bob is in the office.
Where is John? A: playground
アンダーラインは、回答を得る過程で参照される事項(supporting facts
)で、教師データとして使用される。
タスク(1) Factoid QA : シングル Supporting Fact
("Where is actor")
© 2015 Metaps Inc. All Rights Reserved.
少し複雑な問題で、回答が二つの文に含まれる場合の質問タスク。	
John is in the playground.
Bob is in the office.
John picked up the football.
Bob went to the kitchen.
Where is the football?  A: playground
アンダーラインは、回答を得る過程で参照される事項(supporting facts
)で、教師データとして使用される。
タスク(2) Factoid QA: Two Supporting Fact
("Where is actor + object")
© 2015 Metaps Inc. All Rights Reserved.
John is in the playground.
Bob is in the office.
John picked up the football.
Bob went to the kitchen.
Where was Bob before the kitchen?  A: office
アンダーラインは、回答を得る過程で参照される事項(supporting facts)で、教
師データとして使用される。
	
タスク(2) Factoid QA: Two Supporting Fact
("Where is actor + object")
© 2015 Metaps Inc. All Rights Reserved.
q: 質問、t:回答を教師データとして学習を行う。
つまり、回答を得る過程で参照される事項(supporting facts)の数kが1つ(t:
回答のみ)である。	
実験1 LARGE-SCALE QA
© 2015 Metaps Inc. All Rights Reserved.
実験1 LARGE-SCALE QAの結果
© 2015 Metaps Inc. All Rights Reserved.
文章だけ記述される仮想世界でのシミュレーションに対して質問を行って、答
えを得る。
今回のタスクでは、人物と物のロケーションに対してだけ質問を限定している。
また、手動で行動の制約条件のルールを記述している。
例えば、持っていない物を置くことができないなど。
	
実験2 SIMULATED WORLD QA
© 2015 Metaps Inc. All Rights Reserved.
Test accuracy on the simulation QA task	
実験2 SIMULATED WORLD QAの結果
© 2015 Metaps Inc. All Rights Reserved.
•    bag  of  wordsでは、主語と目的語の2項関係や3項関
係を扱うことができない。
	
•  回答を得る過程で参照される事項(supporting  facts)の
数kが2つまでしかなく、それ以上を必要とする質問には対
応できない。
•  応答部がRNN(Recurrent  Neural  Networks)ではな
いと、リスト挙げなど複数回答を必要とする質問に対応で
きない。	
初代Memory Networksの問題点
© 2015 Metaps Inc. All Rights Reserved.
•  初代Memory  Networksの制約をなくすために以下の機
能を追加して拡張を行った。
–  Adaptive  Memoriesの導入:これを用いることで、回答を得る
過程で参照される事項(supporting  facts)数を2の制約から無限
とした。
–  応答部にRNNやLSTMの導入:これを用いることで複数の回答を
行うが可能となる。
–  非線形関数の導入:bag-‐‑‒of-‐‑‒N-‐‑‒grams,  Multilinear  Map,  
Nonlinear  Mapを導入することで、より複雑な論理推論が可能に
なる。
[Weston, J., 2015b]	
Towards AI-Complete Question Answering:

Memory Networksの拡張
© 2015 Metaps Inc. All Rights Reserved.
Towards AI-Complete Question Answering:

Memory Networksの拡張	
•  Adaptive  Memories(and  Responses)
    
オリジナルのMemory Networksでは、回答を得る過程
で参照される事項(supporting facts)の数kが2つまでだ
ったが、拡張モデルでは、これを無限とした。
© 2015 Metaps Inc. All Rights Reserved.
Towards AI-Complete Question Answering:
Memory Networksの拡張	
•  Nonlinear  Sentence  Modeling
    
      
	
1)、N-gramsの導入
bag-of-wordsの代わりにbag-of-N-gramsを用いる。N=1~3	
2)、Multilinear Map
3)、Nonlinear Map
lは文長、iは文の中の位置
© 2015 Metaps Inc. All Rights Reserved.
Toy Tasksの例(演繹推論)	
<入力文>  →
Sheep  are  afraid  of  wolves.    Cats  are  afraid  of  dogs.
Mice  are  afraid  of  cats.    Gertrude  is  a  sheep.
<一階述語論理表現> →
be_̲afraid_̲of(sheep,  wolves)  ^  be_̲afraid_̲of(cats,  
dogs)^be_̲afraid_̲of(mice,  cats)^
be_̲afraid_̲of(Gertrude,  sheep)
<質問と回答>
What  is  Gertrude  afraid  of?  A:wolves
© 2015 Metaps Inc. All Rights Reserved.
Toy Tasksの例(帰納推論)	
<入力文>  →
Lily  is  a  swan.  Lily  is  white. Greg  is  a  swan.
<一階述語論理表現> →
be  (  Lily,  swan)  ^  color  (Lily,  white)  ^  be(Greg,  
swan)
<質問と回答>
What  color  is  Greg?  A:white
© 2015 Metaps Inc. All Rights Reserved.
Toy Tasksの例(Agent’s Motivationsの推論)	
<入力文>  →
John  goes  to  the  kitchen. John  eats  the  apple.
Daniel  is  hungry.
<一階述語論理表現> →
be(John,  hungry)(t1)  ^  go(John,  kitchen)(t2)  ^  eat  
(John,  apple)  (t3)^(t1<t2<t3)
    *  t1,t2,t3は時間順序
<質問と回答>
Where  does  Daniel  go?  A:kitchen
Why  did  John  go  to  the  kitchen?  A:hungry
© 2015 Metaps Inc. All Rights Reserved.
Results
© 2015 Metaps Inc. All Rights Reserved.
•  長いテキスト文をembeddingしてメモリに長期保
存し、コンテキスト依存的な質問にも回答するよう
な仕組み。	
•  テキストをデータベースの構築や明示的に述語
論理に変換することなく論理的な推論をすること
ができる点で新しい。 	
•  体系的な知識を扱う汎用的な推論や複雑な構文
には対処できないのが課題or未知数である。	
Memory Networks まとめ
© 2015 Metaps Inc. All Rights Reserved.
参考論文	
•  Weston,  J.,  Chopra,  S.,  and  Bordes,  A.  Memory  
networks.  In  International  Conference  on  Learning  
Representations  (ICLR),  2015a.
•  Weston,  J.,  Bordes,  A.,  Chopra,  S.,  and  Mikolov,  T.  
Towards  AI-‐‑‒complete  question  answering:  A  
set  of  prerequisite  toy  tasks.  arXiv  preprint:  
1502.05698,  2015b.

Contenu connexe

Tendances

[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View SynthesisDeep Learning JP
 
SmoothGrad: removing noise by adding noise
SmoothGrad: removing noise by adding noiseSmoothGrad: removing noise by adding noise
SmoothGrad: removing noise by adding noiseharmonylab
 
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)Yasunori Ozaki
 
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Ohnishi Katsunori
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph GenerationDeep Learning JP
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況Deep Learning JP
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法Deep Learning JP
 
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由Yoshitaka Ushiku
 
ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2) ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2) cvpaper. challenge
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)Yasunori Ozaki
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose EstimationDeep Learning JP
 
落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS 落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS Yoichi Ochiai
 
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...Deep Learning JP
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用Yoshitaka Ushiku
 
NLPにおけるAttention~Seq2Seq から BERTまで~
NLPにおけるAttention~Seq2Seq から BERTまで~NLPにおけるAttention~Seq2Seq から BERTまで~
NLPにおけるAttention~Seq2Seq から BERTまで~Takuya Ono
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説tancoro
 
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)STAIR Lab, Chiba Institute of Technology
 
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向Koichiro Mori
 
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)Yamato OKAMOTO
 

Tendances (20)

[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
 
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
Deep learning を用いた画像から説明文の自動生成に関する研究の紹介
 
SmoothGrad: removing noise by adding noise
SmoothGrad: removing noise by adding noiseSmoothGrad: removing noise by adding noise
SmoothGrad: removing noise by adding noise
 
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
CVPR2019読み会 (Rethinking the Evaluation of Video Summaries)
 
Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向Action Recognitionの歴史と最新動向
Action Recognitionの歴史と最新動向
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
 
[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況[DL輪読会]画像を使ったSim2Realの現況
[DL輪読会]画像を使ったSim2Realの現況
 
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
 
これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由これからの Vision & Language ~ Acadexit した4つの理由
これからの Vision & Language ~ Acadexit した4つの理由
 
ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2) ECCV2020 オーラル論文完全読破 (2/2)
ECCV2020 オーラル論文完全読破 (2/2)
 
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
第四回 全日本CV勉強会スライド(MOTS: Multi-Object Tracking and Segmentation)
 
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
【DL輪読会】ViTPose: Simple Vision Transformer Baselines for Human Pose Estimation
 
落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS 落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS
 
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
[DL輪読会]An Image is Worth 16x16 Words: Transformers for Image Recognition at S...
 
ドメイン適応の原理と応用
ドメイン適応の原理と応用ドメイン適応の原理と応用
ドメイン適応の原理と応用
 
NLPにおけるAttention~Seq2Seq から BERTまで~
NLPにおけるAttention~Seq2Seq から BERTまで~NLPにおけるAttention~Seq2Seq から BERTまで~
NLPにおけるAttention~Seq2Seq から BERTまで~
 
Triplet Loss 徹底解説
Triplet Loss 徹底解説Triplet Loss 徹底解説
Triplet Loss 徹底解説
 
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)
画像キャプションと動作認識の最前線 〜データセットに注目して〜(第17回ステアラボ人工知能セミナー)
 
マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向マルチモーダル深層学習の研究動向
マルチモーダル深層学習の研究動向
 
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
 

En vedette

20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに!
20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに! 20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに!
20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに! 株式会社メタップスホールディングス
 
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》株式会社メタップスホールディングス
 
Cedec2015 お客様に驚きを提供する運営 消滅都市の事例から-
Cedec2015 お客様に驚きを提供する運営  消滅都市の事例から-Cedec2015 お客様に驚きを提供する運営  消滅都市の事例から-
Cedec2015 お客様に驚きを提供する運営 消滅都市の事例から-gree_tech
 
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜株式会社メタップスホールディングス
 
Chainer v2 alpha
Chainer v2 alphaChainer v2 alpha
Chainer v2 alphaSeiya Tokui
 
Dropout Distillation
Dropout DistillationDropout Distillation
Dropout DistillationShotaro Sano
 
Icml読み会 deep speech2
Icml読み会 deep speech2Icml読み会 deep speech2
Icml読み会 deep speech2Jiro Nishitoba
 
Estimating structured vector autoregressive models
Estimating structured vector autoregressive modelsEstimating structured vector autoregressive models
Estimating structured vector autoregressive modelsAkira Tanimoto
 
Meta-Learning with Memory Augmented Neural Network
Meta-Learning with Memory Augmented Neural NetworkMeta-Learning with Memory Augmented Neural Network
Meta-Learning with Memory Augmented Neural NetworkYusuke Watanabe
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsTakuya Akiba
 
ICML2016読み会 概要紹介
ICML2016読み会 概要紹介ICML2016読み会 概要紹介
ICML2016読み会 概要紹介Kohei Hayashi
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural NetworksSeiya Tokui
 

En vedette (14)

20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに!
20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに! 20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに!
20151218【VIDEO TECH】IPタイトルはリリースから平均1か月でTVCMを実施している事が明らかに!
 
Video marketing seminar 2015 〜Marketing Automation & Video Promotion〜
Video marketing seminar 2015 〜Marketing Automation  &    Video Promotion〜Video marketing seminar 2015 〜Marketing Automation  &    Video Promotion〜
Video marketing seminar 2015 〜Marketing Automation & Video Promotion〜
 
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》
月商10億円を超えるメガヒットアプリを目指すのに必要な戦略まとめ《データ✕TVCM✕アプリ》
 
ゲーム産業講義2015年1月
ゲーム産業講義2015年1月ゲーム産業講義2015年1月
ゲーム産業講義2015年1月
 
Cedec2015 お客様に驚きを提供する運営 消滅都市の事例から-
Cedec2015 お客様に驚きを提供する運営  消滅都市の事例から-Cedec2015 お客様に驚きを提供する運営  消滅都市の事例から-
Cedec2015 お客様に驚きを提供する運営 消滅都市の事例から-
 
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜
8,000億円のスマホゲーム大国 〜中華圏モバイルゲーム市場の分析と打ち手〜
 
Chainer v2 alpha
Chainer v2 alphaChainer v2 alpha
Chainer v2 alpha
 
Dropout Distillation
Dropout DistillationDropout Distillation
Dropout Distillation
 
Icml読み会 deep speech2
Icml読み会 deep speech2Icml読み会 deep speech2
Icml読み会 deep speech2
 
Estimating structured vector autoregressive models
Estimating structured vector autoregressive modelsEstimating structured vector autoregressive models
Estimating structured vector autoregressive models
 
Meta-Learning with Memory Augmented Neural Network
Meta-Learning with Memory Augmented Neural NetworkMeta-Learning with Memory Augmented Neural Network
Meta-Learning with Memory Augmented Neural Network
 
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for GraphsLearning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
 
ICML2016読み会 概要紹介
ICML2016読み会 概要紹介ICML2016読み会 概要紹介
ICML2016読み会 概要紹介
 
論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks論文紹介 Pixel Recurrent Neural Networks
論文紹介 Pixel Recurrent Neural Networks
 

Plus de 株式会社メタップスホールディングス

アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~
アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~
アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~株式会社メタップスホールディングス
 
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -株式会社メタップスホールディングス
 
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>株式会社メタップスホールディングス
 
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~ 「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~ 株式会社メタップスホールディングス
 
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~株式会社メタップスホールディングス
 

Plus de 株式会社メタップスホールディングス (18)

「SaaS爆発」時代の裏に潜む課題を徹底調査
「SaaS爆発」時代の裏に潜む課題を徹底調査「SaaS爆発」時代の裏に潜む課題を徹底調査
「SaaS爆発」時代の裏に潜む課題を徹底調査
 
「SaaS爆発」時代の裏に潜む課題を徹底調査
「SaaS爆発」時代の裏に潜む課題を徹底調査「SaaS爆発」時代の裏に潜む課題を徹底調査
「SaaS爆発」時代の裏に潜む課題を徹底調査
 
1
11
1
 
今、地方創生に必要なものとは? -デジタル活用とアプリ-
今、地方創生に必要なものとは? -デジタル活用とアプリ- 今、地方創生に必要なものとは? -デジタル活用とアプリ-
今、地方創生に必要なものとは? -デジタル活用とアプリ-
 
ウィズコロナにおける 飲食店舗事業の顧客ファン化戦略
ウィズコロナにおける 飲食店舗事業の顧客ファン化戦略ウィズコロナにおける 飲食店舗事業の顧客ファン化戦略
ウィズコロナにおける 飲食店舗事業の顧客ファン化戦略
 
アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~
アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~
アフターコロナの恋愛を科学する ~今後より需要が高まるマッチングアプリとその成功法則~
 
ゲーミフィケーションと3Pの連動
ゲーミフィケーションと3Pの連動ゲーミフィケーションと3Pの連動
ゲーミフィケーションと3Pの連動
 
アフターコロナでより重宝される アプリカテゴリとその成功法則
アフターコロナでより重宝される アプリカテゴリとその成功法則アフターコロナでより重宝される アプリカテゴリとその成功法則
アフターコロナでより重宝される アプリカテゴリとその成功法則
 
アプリ市場傾向から見る スマートフォンECのこれから
アプリ市場傾向から見る スマートフォンECのこれからアプリ市場傾向から見る スマートフォンECのこれから
アプリ市場傾向から見る スマートフォンECのこれから
 
中国本土での スマホゲームビジネス の展開について
中国本土でのスマホゲームビジネスの展開について中国本土でのスマホゲームビジネスの展開について
中国本土での スマホゲームビジネス の展開について
 
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -
「データドリブン」 アプリマーケティング - 2015年のアプリマーケティング -
 
アプリ市場 最新マーケティング戦略について
アプリ市場 最新マーケティング戦略についてアプリ市場 最新マーケティング戦略について
アプリ市場 最新マーケティング戦略について
 
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>
中国アプリ市場に進出する際に必ず知っておきたい情報まとめ<2014年最新版>
 
市場予測から見るアプリマーケティングの未来
市場予測から見るアプリマーケティングの未来市場予測から見るアプリマーケティングの未来
市場予測から見るアプリマーケティングの未来
 
コミック系アプリの分析とマーケティング戦略について
コミック系アプリの分析とマーケティング戦略についてコミック系アプリの分析とマーケティング戦略について
コミック系アプリの分析とマーケティング戦略について
 
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~ 「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~
「少数精鋭で勝つ」Androidアプリ世界展開のポイント~アプリ収益化編~
 
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~
「少数精鋭で勝つ!」Androidアプリ世界展開のポイント~アプリ開発編~
 
メタップスでの少人数 グローバルプラットフォーム開発について
メタップスでの少人数 グローバルプラットフォーム開発についてメタップスでの少人数 グローバルプラットフォーム開発について
メタップスでの少人数 グローバルプラットフォーム開発について
 

Facebookの人工知能アルゴリズム「memory networks」について調べてみた

  • 1. © 2015 Metaps Inc. All Rights Reserved. Facebookの人工知能アルゴリズム 「Memory Networks」について 調べてみた 株式会社メタップス 研究推進担当   礼王懐成
  • 2. © 2015 Metaps Inc. All Rights Reserved. 調査・資料作成 礼王 懐成 Keo Darawong •  株式会社メタップス(研究開発部門)所属 •  東京大学大学院 工学系研究科 卒業 •  人工生命研究所(役員)、東京大学先端科学技術研究セ ンター特任助手、独立やベンチャーを経てメタップスへ •  大学院学生時代は大脳基底核と前頭葉ループにおける運動系列強化学習を研究。  問題解決法に興味を持ち人工知能の研究開発を行なっているベンチャー会社へ。   機械学習を用いた自然言語解析や画像認識や知識推論の研究開発(接地問題に 挑戦)。 金融工学や検索エンジン(マップ検索も含む)も経験。 画像認識機能を持つ 自然言語対話システムのための要素技術の研究開発。 トピックモデルなど自然言語 解析を用いたマーケティングの研究開発。
  • 3. © 2015 Metaps Inc. All Rights Reserved.3 出典:http://qz.com/370089/everything-facebook-announced-today-at-f8/
  • 4. © 2015 Metaps Inc. All Rights Reserved. •  FaceBook AI リサーチが開発した文章理解 を行う人工知能アルゴリズムである。 •  Memory Networksは文章を読み込み、誰 が何を持っているか、あるいはどこに物が 置いてあるかなどを回答する。 Memory Networks とは?
  • 5. © 2015 Metaps Inc. All Rights Reserved. •  例えば、指輪物語の内容を数行にまとめたコンテ ンツをAIが理解している様子が見て取れる。 •  AIはこのファンタジー小説の予備知識やキャラ クターについては知らない。 •  AIはFacebookのこの機能のおかげで、ストーリ ーの内容についての質問に答えることができる。 Memory Networks とは?
  • 6. © 2015 Metaps Inc. All Rights Reserved. •  長期メモリを活用して、論理的な推論を 必要とする質問に対しても回答ができる。 •  テキストを明示的に論理式に変換するこ となく、embedding model をいくつか組 み合わせたネットワークを用いて論理推 論の機能を持つ質問応答を行う。 Memory Networksの特徴
  • 7. © 2015 Metaps Inc. All Rights Reserved. 以下の2点のように従来の知識ベースア プローチが作業を行わない。 1)  知識データベースの構築のための情報 抽出の原理を作る。 2)  構築されたデータベースを用いて推論を 行う。 つまり?
  • 8. © 2015 Metaps Inc. All Rights Reserved. 従来の論理推論(日本語) 形態素解析 係受け解析 項構造解析  or  意味役割解析 一階述語論理に変換 論理推論
  • 9. © 2015 Metaps Inc. All Rights Reserved. 形態素解析をしたものをembeddingしてメモリに保存して推 論をするため、大規模な長期記憶も理論的には推論できる。 Memory networksの場合 形態素解析 メモリに保存 推論
  • 10. © 2015 Metaps Inc. All Rights Reserved. メリットと課題 l 従来の方法だと論理知識が増えるとメンテ ナンスと推論が大変だったが、この方法は 拡張性と効率性に優れている。 l 汎用性に関しては疑問視されている。複雑 な構文には対処できず、簡単な文章しか解 析できないのが課題。
  • 11. © 2015 Metaps Inc. All Rights Reserved. I: ( input feature map ) - 入力データを内部素性表現に変換する。 G: ( generalization ) - 新たな入力をもとに古いメモリを更新する。 O:( output feature map ) - 素性表現空間に新しい出力の生成。 R( response ) - 出力を求められた形式に出力をする。 処理の概要 1、xを内部素性に変化する。 2、新しい入力xに対して、メモリm_i をアップデートする。 3、出力feature oを与えられたメモリ   4、最終的なfeature o最終的な応答とする。  Memory Networks の構成 [Weston, J., 2015a]
  • 12. © 2015 Metaps Inc. All Rights Reserved. (1) 式のH(x) xに対してスロットを選択する関数である。 入力xに対して,N個のメモリmiから関数を最大なものを選択する。 一回目の得られた最適なメモリと入力と残りのメモリ選択する。 一回目の得られた最適なメモリと入力と残りのメモリ選択する。Wは辞書 詳細な処理ステップ
  • 13. © 2015 Metaps Inc. All Rights Reserved. 行列Uは,n×Dの行列Φx, ΦyはテキストデータをD次元にマップする。 もっとも簡単な実装法はBOWである。 単語の辞書をWとした時に、D =3|W|とする。Wにあるすべての単語は3 つの異なる表現をする。 Φyが1つ、Φxが2つで入力なのかメモリからなのかで分類される。 コア関数の詳細
  • 14. © 2015 Metaps Inc. All Rights Reserved. k=2に対して SoやSrの重みであるUoやUrを確率的勾配降下法(SGD)を用いて最適化 する。 教師データとしては、質問x、最終回答であるr、回答を得るために参照する事項 (supporting facts)f1,f2を用いる。 マージンをγ= 0.01~0.1 学習関数
  • 15. © 2015 Metaps Inc. All Rights Reserved. 文章の切れ目が確認できない入力に対して、(9)の式で切り分ける。 時間順序を関数に導入する。 未知の単語に対して、周辺情報の単語を参考に計算を行う。 その他拡張の機能関数
  • 16. © 2015 Metaps Inc. All Rights Reserved. メモリに記入した時間順序を考慮した学習関数で、これを最適するように重みUo を計算する。 時間順序を考慮した学習関数
  • 17. © 2015 Metaps Inc. All Rights Reserved. もっとも簡単なタスクで、回答が含まれる文が一つの場合の質問タスク。 例えば、以下のように人物がどこにいるかを質問する場合。 John is in the playground. Bob is in the office. Where is John? A: playground アンダーラインは、回答を得る過程で参照される事項(supporting facts )で、教師データとして使用される。 タスク(1) Factoid QA : シングル Supporting Fact ("Where is actor")
  • 18. © 2015 Metaps Inc. All Rights Reserved. 少し複雑な問題で、回答が二つの文に含まれる場合の質問タスク。 John is in the playground. Bob is in the office. John picked up the football. Bob went to the kitchen. Where is the football?  A: playground アンダーラインは、回答を得る過程で参照される事項(supporting facts )で、教師データとして使用される。 タスク(2) Factoid QA: Two Supporting Fact ("Where is actor + object")
  • 19. © 2015 Metaps Inc. All Rights Reserved. John is in the playground. Bob is in the office. John picked up the football. Bob went to the kitchen. Where was Bob before the kitchen?  A: office アンダーラインは、回答を得る過程で参照される事項(supporting facts)で、教 師データとして使用される。 タスク(2) Factoid QA: Two Supporting Fact ("Where is actor + object")
  • 20. © 2015 Metaps Inc. All Rights Reserved. q: 質問、t:回答を教師データとして学習を行う。 つまり、回答を得る過程で参照される事項(supporting facts)の数kが1つ(t: 回答のみ)である。 実験1 LARGE-SCALE QA
  • 21. © 2015 Metaps Inc. All Rights Reserved. 実験1 LARGE-SCALE QAの結果
  • 22. © 2015 Metaps Inc. All Rights Reserved. 文章だけ記述される仮想世界でのシミュレーションに対して質問を行って、答 えを得る。 今回のタスクでは、人物と物のロケーションに対してだけ質問を限定している。 また、手動で行動の制約条件のルールを記述している。 例えば、持っていない物を置くことができないなど。 実験2 SIMULATED WORLD QA
  • 23. © 2015 Metaps Inc. All Rights Reserved. Test accuracy on the simulation QA task 実験2 SIMULATED WORLD QAの結果
  • 24. © 2015 Metaps Inc. All Rights Reserved. •   bag  of  wordsでは、主語と目的語の2項関係や3項関 係を扱うことができない。 •  回答を得る過程で参照される事項(supporting  facts)の 数kが2つまでしかなく、それ以上を必要とする質問には対 応できない。 •  応答部がRNN(Recurrent  Neural  Networks)ではな いと、リスト挙げなど複数回答を必要とする質問に対応で きない。 初代Memory Networksの問題点
  • 25. © 2015 Metaps Inc. All Rights Reserved. •  初代Memory  Networksの制約をなくすために以下の機 能を追加して拡張を行った。 –  Adaptive  Memoriesの導入:これを用いることで、回答を得る 過程で参照される事項(supporting  facts)数を2の制約から無限 とした。 –  応答部にRNNやLSTMの導入:これを用いることで複数の回答を 行うが可能となる。 –  非線形関数の導入:bag-‐‑‒of-‐‑‒N-‐‑‒grams,  Multilinear  Map,   Nonlinear  Mapを導入することで、より複雑な論理推論が可能に なる。 [Weston, J., 2015b] Towards AI-Complete Question Answering:
 Memory Networksの拡張
  • 26. © 2015 Metaps Inc. All Rights Reserved. Towards AI-Complete Question Answering:
 Memory Networksの拡張 •  Adaptive  Memories(and  Responses)     オリジナルのMemory Networksでは、回答を得る過程 で参照される事項(supporting facts)の数kが2つまでだ ったが、拡張モデルでは、これを無限とした。
  • 27. © 2015 Metaps Inc. All Rights Reserved. Towards AI-Complete Question Answering: Memory Networksの拡張 •  Nonlinear  Sentence  Modeling           1)、N-gramsの導入 bag-of-wordsの代わりにbag-of-N-gramsを用いる。N=1~3 2)、Multilinear Map 3)、Nonlinear Map lは文長、iは文の中の位置
  • 28. © 2015 Metaps Inc. All Rights Reserved. Toy Tasksの例(演繹推論) <入力文>  → Sheep  are  afraid  of  wolves.    Cats  are  afraid  of  dogs. Mice  are  afraid  of  cats.    Gertrude  is  a  sheep. <一階述語論理表現> → be_̲afraid_̲of(sheep,  wolves)  ^  be_̲afraid_̲of(cats,   dogs)^be_̲afraid_̲of(mice,  cats)^ be_̲afraid_̲of(Gertrude,  sheep) <質問と回答> What  is  Gertrude  afraid  of?  A:wolves
  • 29. © 2015 Metaps Inc. All Rights Reserved. Toy Tasksの例(帰納推論) <入力文>  → Lily  is  a  swan.  Lily  is  white. Greg  is  a  swan. <一階述語論理表現> → be  (  Lily,  swan)  ^  color  (Lily,  white)  ^  be(Greg,   swan) <質問と回答> What  color  is  Greg?  A:white
  • 30. © 2015 Metaps Inc. All Rights Reserved. Toy Tasksの例(Agent’s Motivationsの推論) <入力文>  → John  goes  to  the  kitchen. John  eats  the  apple. Daniel  is  hungry. <一階述語論理表現> → be(John,  hungry)(t1)  ^  go(John,  kitchen)(t2)  ^  eat   (John,  apple)  (t3)^(t1<t2<t3)    *  t1,t2,t3は時間順序 <質問と回答> Where  does  Daniel  go?  A:kitchen Why  did  John  go  to  the  kitchen?  A:hungry
  • 31. © 2015 Metaps Inc. All Rights Reserved. Results
  • 32. © 2015 Metaps Inc. All Rights Reserved. •  長いテキスト文をembeddingしてメモリに長期保 存し、コンテキスト依存的な質問にも回答するよう な仕組み。 •  テキストをデータベースの構築や明示的に述語 論理に変換することなく論理的な推論をすること ができる点で新しい。  •  体系的な知識を扱う汎用的な推論や複雑な構文 には対処できないのが課題or未知数である。 Memory Networks まとめ
  • 33. © 2015 Metaps Inc. All Rights Reserved. 参考論文 •  Weston,  J.,  Chopra,  S.,  and  Bordes,  A.  Memory   networks.  In  International  Conference  on  Learning   Representations  (ICLR),  2015a. •  Weston,  J.,  Bordes,  A.,  Chopra,  S.,  and  Mikolov,  T.   Towards  AI-‐‑‒complete  question  answering:  A   set  of  prerequisite  toy  tasks.  arXiv  preprint:   1502.05698,  2015b.