最大似然估计

先贴一下我的参考：维基百科东北师范大学课件知乎

由于年代久远，所以以前学的概率全忘了，所以复习下。首先，回想下统计学的核心，以样本去估计整体，我为什么要去求得这个最大似然估计，
例如：我有一个黑盒子，盒子里放了200个球，我次拿出一个，记录颜色，然后放回，摇匀，其中8个黑球，2个白球，同时，设拿到黑球的概率为 ${p}$ 。这时，我所掌握的信息就是：每次拿出的不同的球的概率是相等的，即样本相互独立且同分布，那么可以记这次事件发生的概率： $P(黑=8)=p^8 * (1-P)^2$ (称为似然函数) ,通过这，我想知道 $p$ 到底是多少呢？
这便是问题的出发点，由已知的这些资料去探知整体的概率。
因为 $P(黑=8)$ 已经出现了，所以我们要让它最大，所以，求偏导令其等于0，得出 $p = 0.8$ ,所以得出最符合 $p$ 的值为0.8。
根据其他的资料，我们可知最大似然估计的一般求解过程：
　　（1）写出似然函数；
　　（2）对似然函数取对数，并整理；
　　（3）求导数；
　　（4）解似然方程
第二步只是为了方便求导而存在的。

上面只是离散的例子，下面举一个连续分布的例子(记住，我们是来求具体的p的)：
现在有 n个样本服从正态分布，即

P (x) = 1 2 π - - \sqrt σ e (- ( x - μ ) 2 2 σ 2)

$P(x) = \frac{1}{\sqrt{2\pi}\sigma}e(-\frac{(x-\mu)^2}{2\sigma^2})$
求似然函数

L (μ, σ 2) = \prod i = 1 n 1 2 π - - \sqrt σ e (- ( x - μ ) 2 2 σ 2) = (2 π σ 2) - 1 2 σ 2 \sum n i = 1 (x i - μ)

$L(\mu,\sigma^2) = \prod_{i=1}^{n}\frac{1}{\sqrt{2\pi}\sigma}e{(-\frac{(x-\mu)^2}{2\sigma^2})}=(2\pi\sigma^2)^{-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)}$
求对数

l o g L (μ, σ 2) = - n 2 l o g (2 π) - n 2 l o g (2 π) - 1 2 σ 2 \sum i = 1 n (x i - μ) 2

$logL(\mu,\sigma^2)=-\frac{n}{2}log(2\pi)-\frac{n}{2}log(2\pi)-\frac{1}{2\sigma^2}\sum_{i=1}^{n}(x_i-\mu)^2$
求偏导，得似然方程组

⎧ ⎩ ⎨ \partial l o g L ( μ , σ 2 ) \partial μ = 1 σ 2 \sum n i = 1 (x i - μ) = 0, \partial l o g L ( μ , σ 2 ) \partial σ 2 = - n 2 σ 2 + 1 2 σ 4 \sum n i = 1 (x i - μ) 2 = 0,

$\begin{cases} \frac{\partial logL(\mu,\sigma^2)}{\partial\mu}=\frac{1}{\sigma^2}\sum_{i=1}^{n}(x_i-\mu)=0, \\ \frac{\partial logL(\mu,\sigma^2)}{\partial\sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^{n}(x_i-\mu)^2=0, \end{cases}$
由第一式解得

μ . = x ¯ = 1 n \sum i = 1 n x i

$\mu.=\bar x=\frac{1}{n}\sum_{i=1}^{n}x_i$
将其带入第二式

σ 2 = 1 n \sum i = 1 n (x i - x ¯) 2

$\sigma^2=\frac{1}{n}\sum_{i=1}^{n}(x_i-\bar x)^2$
得似然方程组有唯一解

(μ.，σ2) $(\mu.，\sigma^2)$ ，是否为极大值呢？将他们带入似然函数看看就知道啦！

最大似然估计

悦读