続・わかりやすいパターン認識勉強会 4章前半

4.1 学習推定 4.2 最尤推定 4.3 推定 4.4 分布 4.5 共役事前分布 4.6 推定推定値特定
第4章推定前半
第 3 回「続・認識」読書会
@ksmzn
会場:株式会社様東銀座
January 27, 2015
@ksmzn 第 4 章推定前半 January 27, 2015 1 / 44

自己紹介
Koshi @ksmzn
某大学 M2
法研究
勉強中 ( )

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布
5 4.5 共役事前分布
6 4.6 推定推定値特定

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

推定
1. 母集団分布特徴値
(母数) 。
2. 未知、値興味
、観測値用未知
類推推定。
3. 章最尤推定推定取上
。

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

例題4.1
1枚投
n 回投結果
x(n)
= x1x2 . . . xn
n 回中 r 回表
θ 値推定
最尤推定推定推定

最尤原理
「現実我々得観測、確率最大
実現結果」考。
観測 x(n)
θ 、
P(x(n)
; θ) 最大 θ
「最尤」。
最尤原理!!

観測値得確率
各試行独立 , 観測値得確率
P(x(n)
; θ) =P(x1)P(x2)P(x3) . . . P(xn)
=
n∏
t=1
P(xt; θ)
=θr
(1 − θ)n−r

最尤推定
P(x(n)
; θ) 最大 θ ˆθ(最尤推定量)
、
ˆθ = argmax
θ
{P(x(n)
; θ)}
。
推定法最尤推定

P(x(n)
; θ) 最大
未知 θ 値尤度合
P(x(n)
; θ) 、尤度。
尤度最大 θ 求。
→ 微分行 !
計算、尤度対数。
(対数尤度)
log p(x(n)
; θ)

最尤推定量求
対数尤度微分 0
d
dθ
log p(x(n)
; θ) =
d
dθ
(r log θ + (n − r) log(1 − θ)
=
r
θ
−
n − r
1 − θ
=0
ˆθ =
r
n
「n 回中 r 回表出割合」、
直感的妥当結果。

観測値得確率(n = 10)

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

最尤推定推定
未知扱
最尤推定定数見
推定確率変数見
確率変数見、
θ 具体的値推定最尤推定違、
推定未知
確率分布推定。

定理
種類対用、
定理連続的値 θ 定義。
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n)
) · p (θ)
p (θ) 事前分布、p
(
θ|x(n)
)
事後分布。
P
(
x(n)
)
x(n)
周辺分布。
P
(
x(n)
)
=
∫ 1
0
P
(
x(n)
|θ
)
p (θ) dθ

尤度
表確率 θ n 回投 x(n)
得
確率、各試行独立
P(x(n)
|θ) =P(x1)P(x2)P(x3) . . . P(xn)
=
n∏
t=1
P(xt|θ)
=θr
(1 − θ)n−r
値 θ 各値「尤」表、
尤度。

尤度
x(n)
既得観測、
θ 未知、
尤度 P(x(n)
|θ) L
(
θ|x(n)
)
表。
Tips
一般、尤度 L
(
θ|x(n)
)
θ 対確率分
布。
実際、尤度全領域 [0, 1] 積分 1
。

事前分布
表出確率 θ 情報何、
事前分布 p (θ) 決 !!
↓
、
「特性値見当」知識
状態表、無情報事前分布用。
例
1. 一様分布
2. Dirichlet 分布

一様分布
今回 2 値分布 θ 何
示無情報事前分布、θ
取得区間 [0, 1] 上一様分布、
p (θ) = 1
。分布 Beta(1,1) 書
。

周辺分布
尤度事前分布決、周辺分布求
P
(
x(n)
)
=
∫ 1
0
P
(
x(n)
|θ
)
p (θ) dθ
=
∫ 1
0
θr
(1 − θ)n−r
· 1dθ
=B(r + 1, n − r + 1)

関数関数
B(α, β) 関数、
B(α, β) =
∫ 1
0
uα−1
(1 − u)β−1
du
=
Γ (α) Γ (β)
Γ (α + β)
Γ (·) 関数、
Γ(α) =
∫ ∞
0
uα−1
e−u
du
。

周辺分布求
α 非負整数場合、
Γ (α + 1) = α!
。、
P
(
x(n)
)
=B(r + 1, n − r + 1)
=
Γ (r + 1) Γ (n − r + 1)
Γ (n + 2)
=
r! (n − r)!
(n + 1)!
=
1
(n + 1) · nCr

事後分布
値定理式代入
p
(
θ|x(n)
)
=
P
(
x(n)
|θ
)
P
(
x(n)
) · p (θ)
= (n + 1) · nCrθr
(1 − θ)n−r
θ 事後分布。

最尤推定推定比較
最尤推定→最尤推定量
ˆθ =
r
n
推定→事後確率
p
(
θ|x(n)
)
= (n + 1) · nCrθr
(1 − θ)n−r

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

分布
Be (α, β) =
θα−1
(1 − θ)β−1
B (α, β)
(0 ≤ θ ≤ 1)
前節事後分布
p
(
θ|x(n)
)
= (n + 1) · nCrθr
(1 − θ)n−r
、
Be (r + 1, n − r + 1) 分布！

Be (α, β) 問題当
問題設定 Be (α, β)
表出回数 r α − 1
裏出回数 n − r β − 1
総観測回数 n α + β − 2

Be (α, β) 形状

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

事前分布選択
観測情報、事前
知情報導入
専門家見解、従来検討、他理論・
無情報事前分布
、θ 関情報
一様分布事前分布用。
先求事後分布分布、
新事前分布用。

事前分布 Be (α, β)
事前分布一様分布 Be (α, β) 使
↓
事前知識、(α + β − 2) 回投、
表 (α − 1) 回、裏 (β − 1) 回観測
情報得。
↓
表出確率 θ 、「 α−1
α+β−2
」知識。

事前分布 Be (α, β)
事前分布 p (θ) Be (α, β) 用。
p (θ) = Be (α, β) =
θα−1
(1 − θ)β−1
B (α, β)
(0 ≤ θ ≤ 1)
、事後分布、
p
(
θ|x(n)
)
=
1
Z1
· θα+r−1
· (1 − θ)β+n−r−1
=Be (α + r, β + n − r)
。(Z1 正規化定数)

共役事前分布
二項分布 θ 推定際、事
前分布分布用事後分布
分布。
、事前分布事後分布同分布族
属、事前分布共役事前分
布。
共役事前分布用、事後分布導出
。

1 4.1 学習推定
2 4.2 最尤推定
3 4.3 推定
4 4.4 分布

推定推定値
推定得、事後分布。
↓
推定値得！！

θ 推定値候補
θ 期待値
ˆθ =E [θ]
=
α
α + β
=
r + 1
n + 2
決定法則、損失関数二次損失
選、期待損失最小値選
同。
→詳、他統計本。

θ 推定値候補
θ 最頻値
ˆθ = argmax
θ
{P(θ|x(n)
)}
=M [θ]
=
α − 1
α + β − 2
=
r
n
決定法則、損失関数 0-1 損失
選、期待損失最小値選
同。

期待値最頻値比較

Be (α, β) 形状

1. 最尤推定値唯一推定
(点推定)。
2. 推定事後分布求
。
3. 際、事前分布共役事前分布用
計算容易。
4. 事後分布推定値決方法、複数
。

References
[1] 石井健一郎・上田修功 (2014) 『続・
認識 -教師学習入門』
社
[2] G.Petris[他] (2013) 『R 動的
線型』 (統計 ) 和合肇・萩
原淳一郎訳, 朝倉書店
[3] 仁木直人 (2009) 『基礎情報学』培風館

清聴 .

続・わかりやすいパターン認識勉強会 4章前半

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)