Bootstrap

概率论与数理统计——最大似然估计的计算

题目

  eg:设 X 1 , X 2 . . . X n X_{1},X_{2}...X_{n} X1,X2...Xn是来自总体 X X X的一个样本, X ∼ B ( m , p ) X \sim B(m,p) XB(m,p),其中 m m m已知,试求参数 p p p的最大似然估计(答案在文末)。

最大似然估计

  对于点估计,有矩估计法最大似然估计法

  矩估计法,其基于大数定律,求解未知参数 θ θ θ的时候,是一种简单的替换的思想(样本矩估计总体矩)。
  最大似然估计法,基于极大似然原理(概率大的事件在一次观测中更容易发生)。求解未知参数 θ θ θ的时候,是当它作为估计值时,使样本出现的概率(样本出现的可能性)最大。

  矩估计可以使用在总体分布未知的情况,但最大似然估计必须要知道总体的分布。因此,矩估计具有简单的优点,但是当已知分布的时候,使用矩估计就会放弃这一已知信息,从而对于我们估计出的值造成误差,为了充分利用已知的信息,我们需要使用最大似然估计。

使用最大似然估计的解题步骤

第一种情况:离散型

① 选择样本/样本值(准备工作)

  从总体中选取样本或者样本值,在这里我们选择样本值 x 1 , x 2 . . . x n x_{1},x_{2}...x_{n} x1,x2...xn
  因为我们知道总体 X X X的分布,因此,对于从 x 1 x_{1} x1 x n x_{n} xn中的任意一个值,都可以代入 X X X的分布中,求出当 X X X等于该值的概率,将这些概率分别记成 P 1 , P 2 . . . P n P_{1},P_{2}...P_{n} P1,P2...Pn,这些概率,都是包含了 i ( x i , i = 1 , 2... n ) i(x_{i},i=1,2...n) i(xi,i=1,2...n)和未知参数 θ θ θ的函数。这就为我们构造似然函数做了准备(在做题时可省略这一步,心中有数即可)。

② 构造似然函数(重点)

  准备工作结束,我们在准备中已经得到了 P 1 , P 2 . . . P n P_{1},P_{2}...P_

;