简介
EM算法，即最大期望算法（Expectation-maximization algorithm，又译期望最大化算法）在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。最大期望算法经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。最大期望算法经过两个步骤交替进行计算，第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值；第二步是最大化（M），最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行。
即EM算法是一种迭代算法，主要用于求极大似然估计或者极大后验估计值。
以\(X\)表示观测数据，\(Z\)表示隐变量数据，\(\Theta\)表示参数，我们要求参数的值。这时可以选择一些参数估计方法，例如矩估计，极大似然估计，极大后验估计等。在这里我们选择极大似然估计，即求出使得对数似然函数 \[\ln p(X|\Theta)\] 取最大值时的\(\Theta\)值。而因为 \[\ln p(X|\Theta)=\ln\sum_Zp(X,Z|\Theta)=\ln\sum_Zp(X|Z,\Theta)p(Z|\Theta)\] 这种类型的表达式通过偏导求极值是比较难计算的，这个时候我们就用EM这种特殊的算法来求解。
EM算法的推导
我们引入一个可变的分布\(q(Z),\sum_Zq(Z)=1\)，现在我们来求\(\ln p(X|\Theta)\)的极值。
