机器学习-EM算法

一：最大似然估计

举个栗子：一个袋子里有很多个球，每次放回的取一个球，取了十次，其中有六次白球，4次黑球。那么就认为袋子里面取到白球的概率为6/10，黑球的概率为4/10。总的来说，极大似然估计就是用来估计模型参数的统计方法。

最大似然数学问题：

比如一个班里有一百个学生，他们的身高X={x1,x2,x3.......xn}n=100。

概率密度函数：P(xi| $\theta$ )为抽到男生i的身高的概率（这里假设都是男生）

$\theta$ 是服从分布的参数

独立同分布：同时抽到这100个男生的概率就是他们概率的乘积

得到最大似然函数：L( $\theta$ )= $\sum_{i=1}^{100}\log{p(xi;\theta )}$

得到最大似然函数后我们要求的就是参数 $\theta$ 的最大值，而这个最大值就是出现这批样本的概率的最大值

我们都知道要得到参数最大值就是对这个函数求导后令导数等于零，解出参数即可。但是在这里是连乘，100个参数连乘，算起来很麻烦，所以我们对两边取对数ln，将连乘变成求和，这样就很容易算出