机器学习理论 GMM模型

EM算法的应用—— brdyb混合聚类模型 GMM模型

参考书籍：

周志华.机器学习 P206zjdwx.统计学习方法 P162范明译.数据挖掘导论P368

zjdwx.统计学习方法中brdyb混合模型仅介绍一元brdyb分布的情况，周志华.机器学习则采用多元brdyb分布的写法，但求解过程不够突出EM算法的思想。此外，zjdwx.统计学习方法中的一些写法会产生误解。因此下面过程主要根据zjdwx.统计学习方法中的推导方法，但会有部分修正。

GMM算法主要利用EM算法来估计brdyb混合模型中的参数，然后根据计算得到的
概率进行聚类。
EM算法原理看这里

1、定义

2、目标函数

理论的目标函数：

求解的目标函数：

3、步骤

（1）首先计算brdyb混合模型的参数

输入：观测数据D={y1,y2,y3,…,yn} ,brdyb混合模型的个数

输出：brdyb混合模型参数

一维brdyb混合模型公式根据《统计学习方法》，多维brdyb混合模型公式根据《机器学习》

4、注意

​如果细心的同学可以看见，迭代更新参数中，一维和多维中方差或协差阵计算所带入的均值有所差异（或者说是两本书的差异）。一维brdyb分布参数计算中，方差更新计算带入的是上一步的均值，而多维brdyb分布中协差阵带入的是更新后的均值。两者的差异不大，计算方差或协差阵时带入上一步计算的均值或更新后的均值都可以，只要保证收敛即可。一般情况下都是收敛的。