2024年4月27日土曜日

ウエブ最適化ではじめる機械学習 備忘録 P19 ベイズ更新について

p(y)=∫p(x,y) dx  加法定理         p(x|y)=p(x,y)/p(y) 乗法定理
p(x,y)=p(x|y)p(y) = p(y|x)p(x)  2つ目の=より
p(x|y)=P(y|x)p(x)/p(y)   ベイズの定理
p(Θ|D)=p(D|Θ)p(Θ)/p(D)   p(D)は定数とみなされるため(Θの影響なし)
p(Θ|D) ∝ p(D|Θ)p(Θ) :p(D)証拠(evidence) or 正規化定数(nomalizing constant) p(Θ)事前分布 p(Θ|D)事後分布
  書籍にはないが  p(D)=Σp(D|Θi)p(Θi) も頭に入れておいたほうがいいようだ。 

これ以降は、下記リンクを参照させていただいた。
 https://qiita.com/ground0state/items/210faf0e7f3b0362426b

p(Θ|D1,D2)=p(D1,D2|Θ) p(Θ) / p(D1,D2)
   =p(D1|Θ) p(D2|Θ)p(Θ)/ P(D1)P(D2)
   =( p(D2|Θ)/P(D2) )* ( P(D1|Θ) /P(D1) )* p(Θ)
   = ( p(D2|Θ)/P(D2) )* p(Θ|D1)
p(Θ|D1,D2,D3)=(p(D3|Θ)/P(D3){(p(D2|Θ)/P(D2))* p(Θ|D1)}
       =(p(D3|Θ)/P(D3)) { p(Θ|D1,D2)  }
 再帰的な構造ともいえそう。つまり
  p(Θ|D1,D2,D3...Di)=(p(Di|Θ)/P(Di)* p(Θ|D1,D2,D3...Di-1)
       事後分布=(p(Di|Θ)/P(Di)* 事前分布
 ということなんだろうと思う。
 「事後分布を次の事前分布で使って。。」 という説明があちこちで 見られますが、 最初、なかなかわからなかったけれど、たぶん、こういうことなんだろうと思う。

  p(Di|Θ)/P(Di)を かけていくのですが、上記リンクでは この部分が
   p(x|ω)=ω^x*(1-ω)^(1-x) (ベルヌーイ分布)
  で、x=0で裏なら1-ω x=1で表ならω ωはΘに該当
 
   積分して1になるように定数p(Di)を決めていくということか。

0 件のコメント:

コメントを投稿