8. フレーズベースSMTのデコーディング
新たな 翻訳 手法 を 提案 する
new
novel
translation method
a method the
propose is
do
we propose
a
an approach
approach
suggestdecode
we proposetranslation algorithm
a new translation method
of the
novel translation
フレーズ
テーブル
we propose a novel translation method
8
31. Byte Pair Encodingのアルゴリズム
31
[Sennrich et al., 2016b]
頻度
5
2
6
3
単語
l o w
l o w e r
n e w e s t
w i d e s t
コーパス
l, o, w, e, r, n, w, s, t, i, d
語彙 (サイズ = 15)
初期語彙 = 文字 (11個)
es (頻度 = 9)
est (頻度 = 9)
lo (頻度 = 7)
low (頻度 = 7)
単語
l o w
l o w e r
n e w es t
w i d es t
単語
l o w
l o w e r
n e w est
w i d est
単語
lo w
lo w e r
n e w est
w i d est
単語
low
low e r
n e w est
w i d est
51. その他のNMTモデル (2/3)
• Attention Is All You Need
– https://arxiv.org/abs/1706.03762
– RNNもCNNもいらない!Feed-forwardのみの
Transformerを提案
– Self-attentionにより代名詞の実体も考慮できる
51https://research.googleblog.com/2017/08/transformer-novel-neural-network.html