p(y)=∫p(x,y) dx 加法定理 p(x|y)=p(x,y)/p(y) 乗法定理
p(x,y)=p(x|y)p(y) = p(y|x)p(x) 2つ目の=より
p(x|y)=P(y|x)p(x)/p(y) ベイズの定理
p(Θ|D)=p(D|Θ)p(Θ)/p(D) p(D)は定数とみなされるため(Θの影響なし)
p(Θ|D) ∝ p(D|Θ)p(Θ) :p(D)証拠(evidence) or 正規化定数(nomalizing constant) p(Θ)事前分布 p(Θ|D)事後分布
書籍にはないが p(D)=Σp(D|Θi)p(Θi) も頭に入れておいたほうがいいようだ。
p(x,y)=p(x|y)p(y) = p(y|x)p(x) 2つ目の=より
p(x|y)=P(y|x)p(x)/p(y) ベイズの定理
p(Θ|D)=p(D|Θ)p(Θ)/p(D) p(D)は定数とみなされるため(Θの影響なし)
p(Θ|D) ∝ p(D|Θ)p(Θ) :p(D)証拠(evidence) or 正規化定数(nomalizing constant) p(Θ)事前分布 p(Θ|D)事後分布
書籍にはないが p(D)=Σp(D|Θi)p(Θi) も頭に入れておいたほうがいいようだ。
p(Θ|D1,D2)=p(D1,D2|Θ) p(Θ) / p(D1,D2)
=p(D1|Θ) p(D2|Θ)p(Θ)/ P(D1)P(D2)
=( p(D2|Θ)/P(D2) )* ( P(D1|Θ) /P(D1) )* p(Θ)
= ( p(D2|Θ)/P(D2) )* p(Θ|D1)
p(Θ|D1,D2,D3)=(p(D3|Θ)/P(D3){(p(D2|Θ)/P(D2))* p(Θ|D1)}
=(p(D3|Θ)/P(D3)) { p(Θ|D1,D2) }
再帰的な構造ともいえそう。つまり
p(Θ|D1,D2,D3...Di)=(p(Di|Θ)/P(Di)* p(Θ|D1,D2,D3...Di-1)
事後分布=(p(Di|Θ)/P(Di)* 事前分布
ということなんだろうと思う。
「事後分布を次の事前分布で使って。。」 という説明があちこちで 見られますが、 最初、なかなかわからなかったけれど、たぶん、こういうことなんだろうと思う。
p(Di|Θ)/P(Di)を かけていくのですが、上記リンクでは この部分が
p(x|ω)=ω^x*(1-ω)^(1-x) (ベルヌーイ分布)
で、x=0で裏なら1-ω x=1で表ならω ωはΘに該当
積分して1になるように定数p(Di)を決めていくということか。
0 件のコメント:
コメントを投稿