ガンマ分布
\begin{align*}
\Gam(λ|a,b) = & \f{1}{Γ(a)} b^a λa-1 exp(-bλ)
\end{align*}
ガンマ関数の定義
\begin{align*}
Γ(x) = & ∫_0^∞ ux-1 e-u du
\end{align*}
ガンマ分布を\(λ\)で積分する。
\begin{align*}
& ∫_0^∞ \Gam(λ|a,b) dλ
= & \f{1}{Γ(a)} b^a ∫_0^infty λa-1 exp(-bλ) dλ \
\end{align*}
\(u = bλ\)と置く。
\begin{align*}
= & \f{1}{Γ(a)} b^a ∫_0^∞ \f{ua-1}{ba-1} exp(-u) b du \
= & \f{1}{Γ(a)} b^a \f{1}{b^a} ∫_0^∞ ua-1 exp(-u) du \
= & \f{1}{Γ(a)} b^a \f{1}{b^a} Γ(a) \
= & 1 \
\end{align*}
\begin{align*}
\E[λ] = & ∫_0^∞ λ \Gam(λ|a,b) dλ
= & \f{1}{Γ(a)} b^a ∫_0^∞ λ λa-1 exp(-bλ) dλ \
= & \f{1}{Γ(a)} b^a ∫_0^∞ λ^a exp(-bλ) dλ \
= & \f{1}{Γ(a)} b^a ∫_0^∞ \f{u^a}{b^a} exp(-u) \f{1}{b} du \
= & \f{1}{Γ(a)} b^a \f{1}{ba+1} ∫_0^∞ u^a exp(-u) du \
= & \f{1}{Γ(a)} \f{1}{b} Γ(a+1) \
= & \f{1}{Γ(a)} \f{1}{b} a Γ(a) \
= & \f{a}{b} \
\end{align*}
\begin{align*}
var[λ] = & \E[λ^2] - \E[λ]^2
\end{align*}
\begin{align*}
\E[λ^2] = & ∫_0^∞ λ^2 \Gam(λ|a,b) dλ
= & \f{1}{Γ(a)} b^a ∫_0^∞ λ^2 λa-1 exp(-bλ) dλ \
= & \f{1}{Γ(a)} b^a ∫_0^∞ λa+1 exp(-bλ) dλ \
= & \f{1}{Γ(a)} b^a ∫_0^∞ \f{ua+1}{ba+1} exp(-u) \f{1}{b} du \
= & \f{1}{Γ(a)} b^a \f{1}{ba+2} ∫_0^∞ ua+1 exp(-u) du \
= & \f{1}{Γ(a)} \f{1}{b^2} Γ(a+2) \
= & \f{1}{Γ(a)} \f{1}{b^2} (a+1) a Γ(a) \
= & \f{a(a+1)}{b^2} \
\end{align*}
\begin{align*}
var[λ] = & \E[λ^2] - \E[λ]^2
= & \f{a(a+1)}{b^2} - \f{a^2}{b^2} \
= & \f{a}{b^2} \
\end{align*}
\begin{align*}
\p{}{λ} \Gam(λ|a,b) = & 0
\f{1}{Γ(a)} b^a \p{}{λ} [ λa-1 exp(-bλ) ] = & 0 \
\p{}{λ} [ λa-1 exp(-bλ) ] = & 0 \
(a-1) λa-2 exp(-bλ) - b λa-1 exp(-bλ) = & 0 \
(a-1) - b λ = & 0 \
λ = & \f{a-1}{b} \
\end{align*}
\begin{align*}
p(x|σ^2,q) = \f{q}{2 (2σ^2)1/q Γ(1/q)} exp\l( -\f{|x|^q}{2σ^2} \r)
\end{align*}
\begin{align*}
& ∫-∞^∞ p(x|σ^2,q) dx
= & \f{q}{2 (2σ^2)1/q Γ(1/q)} ∫-∞^∞ exp\l( -\f{|x|^q}{2σ^2} \r) dx \
= & \f{q}{(2σ^2)1/q Γ(1/q)} ∫_0^∞ exp\l( -\f{x^q}{2σ^2} \r) dx \
\end{align*}
ここで以下の変数変換を行う。
\begin{align*}
y = & \f{x^q}{2σ^2} \
x = & {(2σ^2 y)}1/q \
\f{dx}{dy} = & \f{{(2σ^2)}1/q y1/q-1}{q} \
\end{align*}
すると
\begin{align*}
= & \f{q}{(2σ^2)1/q Γ(1/q)} \f{{(2σ^2)}1/q}{q} ∫_0^∞ y1/q-1 exp(-y) dy \
= & \f{q}{(2σ^2)1/q Γ(1/q)} \f{{(2σ^2)}1/q}{q} Γ(1/q) \
= & 1 \
\end{align*}
\begin{align*}
p(x|σ^2,q=2) = & \f{2}{2 (2σ^2)1/2 Γ(1/2)} exp\l( -\f{|x|^2}{2σ^2} \r)
= & \f{1}{(2πσ^2)1/2} exp\l( -\f{x^2}{2σ^2} \r) \
\end{align*}
\(Γ(1/2)\)の計算は以下の通り。
\begin{align*}
Γ(1/2) = & ∫_0^∞ u1/2-1 exp(-u) du \
= & ∫_0^∞ u-1/2 exp(-u) du \
\end{align*}
\(v^2=u\)と置くと
\begin{align*}
= & ∫_0^∞ v-1 exp(-v^2) 2vdv \
= & 2 ∫_0^∞ exp(-v^2) dv \
= & ∫-∞^∞ exp(-v^2) dv \
= & \sqrt{π}
\end{align*}
\(∫-∞^∞ exp(-v^2) dv\)はガウス積分と呼ばれる。
計算の仕方は演習1.7を参照。
\begin{align*}
t = & y(\x,\w) + ε
ε = & t - y(\x,\w) = p(x|σ^2,q) \
\end{align*}
尤度関数 \begin{align*} p(\tt|\X,\w,σ^2) = ∏n=1^N \end{align*}
平均\(μ\)と分散\(τ-1\)が与えられたときに観測値集合\(\xx=\{x_1,…,x_N\}\)が生じる確率である
尤度関数は以下のように書ける。
\begin{align*}
p(\xx|μ,τ-1) = ∏n=1^N \N(x_n|μ,τ-1)
\end{align*}
平均\(μ\)と分散\(τ-1\)の事前分布にガウス-ガンマ分布を選ぶ。
\begin{align*}
p(μ,τ-1) = \N(μ|μ_0,τ-1) \Gam(τ|a,b)
\end{align*}
事後分布は尤度関数と事前分布の積に比例する。
\begin{align*}
p(μ,τ-1|\xx) \propto & p(\xx|μ,τ-1) p(μ,τ-1)
= & ∏n=1^N \N(x_n|μ,τ-1) \N(μ|μ_0,τ-1) \Gam(τ|a,b) \
\end{align*}
本文p.97で1変数ガウス分布の場合について行なった議論を 多変量ガウス分布の場合に一般化する。
精度行列\(\Λ\)が与えられたときに観測値集合\(\X=\{x_1,…,x_N\}\)が生じる確率である
尤度関数は次のように書ける。
\begin{align*}
p(\X|\Λ) \propto & ∏n=1^N \N(\x_n|\μ,\Λ-1)
= & ∏n=1^N \f{1}{(2π)D/2} \f{1}{|\Λ-1|1/2}
exp\l\{ -\f{1}{2} (\x_n - \μ)^T \Λ (\x_n - \μ) \r\} \
= & ∏n=1^N \f{1}{(2π)D/2} |\Λ|1/2
exp\l\{ -\f{1}{2} (\x_n - \μ)^T \Λ (\x_n - \μ) \r\}
& |\A-1| = |\A|-1 \
= & \f{1}{(2π)ND/2} |\Λ|N/2
exp\l\{ -\f{1}{2} ∑n=1^N (\x_n - \μ)^T \Λ (\x_n - \μ) \r\} \
\end{align*}
精度行列\(\Λ\)の事前分布としてウィシャート分布を選ぶ。
\begin{align*}
\mathcal{W}(\Λ|\W,ν) = & B|\Λ|(ν-D-1)/2 exp\l( -\f{1}{2} \Tr(\W-1 \Λ) \r)
B(\W,ν) = & |\W|-ν/2 \l( 2νD/2πD(D-1)/4 ∏i=1^D Γ\l(\f{ν+1-i}{2}\r) \r)-1 \
\end{align*}
精度行列\(\Λ\)の事後分布は尤度関数と事前分布の積に比例する。
\begin{align*}
p(\Λ|\X)
\propto & p(\X|\Λ) \mathcal{W}(\Λ|\W,ν)
\propto & |\Λ|N/2 exp\l\{ -\f{1}{2} ∑n=1^N (\x_n - \μ)^T \Λ (\x_n - \μ) \r\}
| \Λ | (ν-D-1)/2 exp\l( -\f{1}{2} \Tr(\W-1 \Λ) \r) \ |
= & |\Λ|(ν+N-D-1)/2 exp\l[ -\f{1}{2} \l\{ ∑n=1^N (\x_n - \μ)^T \Λ (\x_n - \μ)
- \Tr(\W-1 \Λ) \r\} \r]
= & |\Λ|(ν+N-D-1)/2 exp\l[ -\f{1}{2} \l\{ \Tr\l( ∑n=1^N (\x_n - \μ)(\x_n - \μ)^T \Λ \r)
- \Tr(\W-1 \Λ) \r\} \r]
= & |\Λ|(ν+N-D-1)/2 exp\l[ -\f{1}{2}
\Tr\l\{ \l( ∑n=1^N (\x_n - \μ)(\x_n - \μ)^T + \W-1 \r) \Λ \r\} \r]
= & |\Λ|(ν_N-D-1)/2 exp\l[ -\f{1}{2} \Tr(\W_N-1 \Λ) \r] \
\propto & \mathcal{W}(\Λ|\W_N,ν_N) \
\end{align*}
事後分布が再びウィシャート分布の形になったので、
ウィシャート分布が多変量ガウス分布の精度行列の共役事前分布であることが言える。
ここで
\begin{align*}
ν_N = & ν + N \
\W_N-1 = & ∑n=1^N (\x_n - \μ)(\x_n - \μ)^T + \W-1 \
\end{align*}
ここで以下の性質を用いた。
\begin{align*}
\Tr(\X \A) = & ∑_i (\X \A)ii = ∑_i ∑_k Xik Aki
\x^T \A \x = & ∑_i ∑_k x_i Aik x_k \
\end{align*}
よって、\(\X = \x \x^T\)すなわち\(Xik = x_i x_k\)と置けば、
\(\Tr(\X \A)=\x^T \A \x\)となる。
\begin{align*}
p(x|μ,a,b) = & ∫_0^∞ \N(x|μ,τ-1) \Gam(τ|a,b) dτ
= & ∫_0^∞ \f{b^a e-bτ τa-1}{Γ(a)} \l(\f{τ}{2π}\r)1/2
exp\l\{ -\f{τ}{2} (x - μ)^2 \r\} dτ \
= & \f{b^a}{Γ(a)} \l(\f{1}{2π}\r)1/2
∫_0^∞ τa-1/2 exp\l\{ -τ \l( b + \f{(x - μ)^2}{2} \r) \r\} dτ \
\end{align*}
\begin{align*}
z = & τ \l[ b + \f{(x - μ)^2}{2} \r]
τ = & \f{z}{b + (x - μ)^2/2} \
\f{dτ}{dz} = & \f{1}{b + (x - μ)^2/2} \
\end{align*}
\begin{align*}
p(x|μ,a,b) = & \f{b^a}{Γ(a)} \l(\f{1}{2π}\r)1/2
∫_0^∞ \l[ \f{z}{b + (x - μ)^2/2} \r]a-1/2
exp(z) \f{1}{b + (x - μ)^2/2} dz
= & \f{b^a}{Γ(a)} \l(\f{1}{2π}\r)1/2 \l[ b + \f{(x - μ)^2}{2} \r]-a-1/2
∫_0^∞ za-1/2 exp(z) dz \
= & \f{b^a}{Γ(a)} \l(\f{1}{2π}\r)1/2
\l[ b + \f{(x - μ)^2}{2} \r]-a-1/2 Γ(a+1/2) \
\end{align*}
\begin{align*}
ν = & 2a & a = & ν/2
λ = & a/b & b = & a/λ = ν/2λ \
\end{align*}
\begin{align*}
p(x|μ,a,b) = & \f{(ν/2λ)ν/2}{Γ(ν/2)} \l(\f{1}{2π}\r)1/2
\l[ ν/2λ + \f{(x - μ)^2}{2} \r]-ν/2-1/2 Γ(ν/2+1/2)
= & \f{Γ(ν/2+1/2)}{Γ(ν/2)} (2λ/ν)(-ν/2-1/2)+1/2 \l(\f{1}{2π}\r)1/2
\l[ ν/2λ + \f{(x - μ)^2}{2} \r]-ν/2-1/2 \
= & \f{Γ(ν/2+1/2)}{Γ(ν/2)} \l(\f{λ}{πν}\r)1/2
\l[ 1 + \f{λ(x - μ)^2}{ν} \r]-ν/2-1/2 \
\end{align*}
\begin{align*}
\St(x|μ,λ,ν) \propto & \l[ 1 + \f{λ(x - μ)^2}{ν} \r]-(ν+1)/2
= & exp\l( -\f{ν+1}{2} ln\l[ 1 + \f{λ(x - μ)^2}{ν} \r] \r) \
\end{align*}
対数関数は1の周辺で以下のようにテーラー展開できる。
\begin{align*}
ln(1 + ε) = ε + O(ε^2) \
\end{align*}
\(ν→∞\)のとき、上の展開を適用できる。
\begin{align*}
& exp\l( -\f{ν+1}{2} ln\l[ 1 + \f{λ(x - μ)^2}{ν} \r] \r) \
= & exp\l( -\f{ν+1}{2} \l[ \f{λ(x - μ)^2}{ν} + O(ν-2) \r] \r) \
= & exp\l( - \f{λ(x - μ)^2}{2} + O(ν-1) \r) \
\end{align*}
\begin{align*}
\St(\x|\μ,\Λ,ν)
= & ∫_0^∞ \N(\x|\μ,(η\Λ)-1) \Gam(η|ν/2,ν/2) dη
= & ∫_0^∞ \f{1}{(2π)D/2} \f{1}{|(η\Λ)-1|1/2} exp\l( -\f{η Δ^2}{2} \r) \
& \f{1}{Γ(ν/2)} (ν/2)ν/2 ην/2-1 exp(-νη/2) dη \
= & \f{1}{Γ(ν/2)}\f{(ν/2)ν/2|\Λ|1/2}{(2π)D/2}
∫_0^∞ ην/2-1/2 exp\l[ -\f{η(Δ^2 + ν)}{2} \r] dη \
\end{align*}
\begin{align*}
z = \f{η(Δ^2 + ν)}{2} &
η = \f{2z}{Δ^2 + ν} &
\f{dη}{dz} = & \f{2}{Δ^2 + ν}
\end{align*}
\begin{align*}
\St(\x|\μ,\Λ,ν)
= & \f{1}{Γ(ν/2)}\f{(ν/2)ν/2|\Λ|1/2}{(2π)D/2}
∫_0^∞ \l( \f{2z}{Δ^2 + ν} \r)ν/2-1/2 exp(z) \f{2}{Δ^2 + ν} dz
= & \f{1}{Γ(ν/2)}\f{(ν/2)ν/2|\Λ|1/2}{(2π)D/2} \l( \f{2}{Δ^2 + ν} \r)ν/2+1/2
∫_0^∞ zν/2-1/2 exp(z) dz \
= & \f{Γ(ν/2+1/2)}{Γ(ν/2)}\f{(ν/2)ν/2|\Λ|1/2}{(2π)D/2} \l( \f{2}{Δ^2 + ν} \r)ν/2+1/2 \
\end{align*}
\begin{align*}
\St(\x|\μ,\Λ,ν)
= & \f{Γ(D/2+ν/2)}{Γ(ν/2)} \f{|\Λ|1/2}{(πν)D/2} \l[ 1 + \f{Δ^2}{ν} \r]-D/2-ν/2
\propto & \l[ 1 + \f{Δ^2}{ν} \r]-D/2-ν/2 \
= & exp\l( - \f{D+ν}{2} ln\l[ 1 + \f{Δ^2}{ν} \r] \r) \
= & exp\l( - \f{D+ν}{2} \l[ \f{Δ^2}{ν} + O(ν-2) \r] \r) \
= & exp\l( - \f{Δ^2}{2} + O(ν-1) \r) \
\end{align*}