38. 全ての に対して,
が成り立つとき, が与えられた下で と は条件付き独立であるといい
と表す.
x, y
p(x, y|z) = p(x|z)p(y|z)
z x y
x ⊥⊥ y|z
次に条件付き独立性です.
グラフィカルモデルを理解するには,次に示す3つの条件付き独立性と,
その独立性に基づく同時分布の展開を理解すれば良いです.
55. p(x|π) = p( |π) =
∏
i=1
n
xi
∏
k=1
K
π
nk
k
回の独立した試行において,n という数が出る回数をk と表すことにします.
すると,
nk
の生成確率は以下のように計算できます.x = ( , , … , )x1 x2 xn
56. p({ |π, n) = Multi({ |π, n) ≡nk }
K
k=1
nk }
K
k=1
n!
!∏
K
k=1
nk
∏
k=1
K
π
nk
k
ここで,各試行における値ではなく, 回目の試行における各値の出現回数n に
興味がある場合,
nk
の確率は,{nk }
K
k=1
とπ がパラメータとなりn
で定義される多項分布 に従います.Multi({ |π, n)nk }
K
k=1
これが多項分布です.
63. 記号 説明
文書数
文書インデックス
文書 に含まれる単語数
単語インデックス
文書 の 番目の単語
文書 の 番目の単語の潜在トピック
全文書の中で現れる語彙数
語彙インデックス
トピック数
トピックインデックス
文書 でトピック が出現する確率
トピック で単語 が出現する確率
Dirichlet分布のパラメータ
M
d
nd d
i
wd,i d i
zd,i d i
V
v
K
k
θd,k d k
ϕk,v k v
α, β
今後使うことになる記号です.(全てではありませんが)