Skip to content

Commit

Permalink
update
Browse files Browse the repository at this point in the history
  • Loading branch information
szcf-weiya committed Oct 24, 2019
1 parent bc74323 commit e00765e
Showing 1 changed file with 16 additions and 9 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -4,25 +4,32 @@
| ---- | ---------------------------------------- |
| 翻译 | szcf-weiya |
| 时间 | 2017-12-29 |
| 更新 | 2019-10-24 19:15:19|
| 状态 | Done|

混合模型是用于密度估计的有用工具,而且可以看成一种核方法.高斯混合模型有如下形式
混合模型是用于密度估计的有力工具,而且可以看成一种核方法.高斯混合模型有如下形式

$$
f(x)=\sum\limits_{m=1}^M\alpha_m\phi(x;\mu_m,\Sigma_m)\tag{6.32}
f(x)=\sum\limits_{m=1}^M\alpha_m\phi(x;\mu_m,\Sigma_m)\tag{6.32}\label{6.32}
$$

其中混合比例 $\alpha_m$ 满足 $\sum_m\alpha_m=1$,并且每个高斯密度均值为 $\mu_m$,协方差阵为 $\Sigma_m$.一般地,混合模型可以用任意组分来替换式 (6.32) 的高斯密度:高斯混合模型是至今最受欢迎的.
其中混合比例 $\alpha_m$ 满足 $\sum_m\alpha_m=1$,并且每个高斯密度均值为 $\mu_m$,协方差阵为 $\Sigma_m$.一般地,混合模型可以用任意组分来替换式 \eqref{6.32} 的高斯密度:高斯混合模型是至今最受欢迎的.

这些参数通常用极大似然法,采用第 8 章中描述的 EM 算法.下面是一些特殊情形:
这些参数通常用极大似然法来拟合,采用 [第 8 章](/08-Model-Inference-and-Averaging/8.5-The-EM-Algorithm/index.html) 中描述的 EM 算法.下面是一些特殊情形:

- 如果协方差阵约束为标量:$\Sigma_m=\sigma_mI$,则式 (6.32) 有径向基展开的形式.
- 如果另外固定 $\sigma_m=\sigma>0$,并且 $M\uparrow N$,则 (6.32) 的极大似然估计会近似当 $\hat\alpha_m=1/N,\hat\mu_m=x_m$ 的核密度估计 (6.22)
- 如果协方差阵约束为标量:$\bSigma_m=\sigma_m\I$,则式 \eqref{6.32} 有径向基展开的形式.
- 如果另外固定 $\sigma_m=\sigma>0$,并且 $M\uparrow N$,则 \eqref{6.32} 的极大似然估计会近似 $\hat\alpha_m=1/N,\hat\mu_m=x_m$ 时的核密度估计 \eqref{6.22}

利用贝叶斯定理,将每个类别的混合密度分离开,则得到 $\Pr(G\mid X)$ 的灵活模型;这将在第 12 章详细讨论.
!!! note "weiya 注: Recall"
$$
\hat f(x_0)=\frac{1}{N\lambda}\sum\limits_{i=1}^NK_\lambda(x_0,x_i)\tag{6.22}\label{6.22}
$$

利用贝叶斯定理,将每个类别的混合密度分离开,则得到 $\Pr(G\mid X)$ 的灵活模型;这将在 [第 12 章](/12-Support-Vector-Machines-and-Flexible-Discriminants/12.1-Introduction/index.html) 详细讨论.

![](../img/06/fig6.17.png)

图 6.17 展示了混合模型应用到心脏病风险因子研究中.最上面一行是 `no CHD``CHD` 关于 `Age` 的直方图,然后结合起来得到最右边的直方图.采用结合后的数据,我们拟合形如 (6.32) 的两组分混合模型,其中(标量)协方差阵 $\Sigma_1$ 和 $\Sigma_2$ 不要求相等.通过 EM 算法来拟合:注意到过程中没用到 `CHD` 标签的信息.结果得到
图 6.17 展示了混合模型应用到心脏病风险因子研究中.最上面一行是 `no CHD``CHD` 关于 `Age` 的直方图,然后结合起来得到最右边的直方图.采用结合后的数据,我们拟合形如 \eqref{6.32} 的两组分混合模型,其中(标量)协方差阵 $\bSigma_1$ 和 $\bSigma_2$ 不要求相等.通过 EM 算法来拟合:注意到过程中没用到 `CHD` 标签的信息.估计的结果为

$$
\begin{array}{lll}
Expand All @@ -43,4 +50,4 @@ $$

![](../img/06/res.p215.png)

尽管混合模型没有用到 `CHD` 标签,但还是较好地发现了两个 `CHD` 子总体.线性逻辑斯底回归当采用 `CHD` 作为响应变量,用极大似然拟合数据达到相同的误差率 $(32%)$.
尽管混合模型没有用到 `CHD` 标签,但还是较好地发现了两个 `CHD` 子总体.线性逻辑斯底回归当采用 `CHD` 作为响应变量,用极大似然拟合数据达到相同的误差率 $(32\%)$.

0 comments on commit e00765e

Please sign in to comment.