Bootstrap

样本方差为何除以n-1?

  方差的概念从小学就开始建立了。对于一个随机变量X\mu,\sigma^2分别表示其数学期望和方差,从中随机抽取n个样本X_1,X_2,\ldots,X_n\overline X=\sum_{i=1}^nX_i是样本均值,S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2是样本方差。那么为什么样本方差是除以n-1而不是n呢?

  这里涉及到一个无偏估计的概念,X是随机变量,X_i,\overline X, S^2同样也是随机变量,其中\overline X,S^2是对X总体\mu,\sigma^2的一个估计,如果\overline X,S^2的期望分别等于\mu,\sigma^2的话,就说这种估计是无偏的。容易证明E(\overline X)=\mu,但是E(S^2)=E(\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2)=\sigma^2的证明就不是那么显而易见了,下面我证明给大家看。记D(X_i),E(X_i)X_i的方差和期望。


\large\begin{array}{rcl}D(\overline X)&=&D(\frac1n\sum_{i=1}^nX_i)\\[10pt]&=&\frac1{n^2}D(\sum_{i=1}^nX_i)\\[10pt]&=&\frac1{n^2}(\sum_{i=1}^nD(X_i))\\[10pt]&=&\frac{\sigma^2}n \\[10pt]\\E({\overline X}^2)&=&D(\overline X)+E^2(\overline X)\\&=&\frac{\sigma^2}n+\mu^2 \\\\E(S^2)&=&E(\frac1{n-1}\sum_{i=1}^n(X_i-\overline X )^2) \\[10pt] &=& \frac1{n-1}E(\sum_{i=1}^n(X_i-\overline X )^2) \\[10pt] &=& \frac1{n-1}E(\sum_{i=1}^n(X_i^2- 2 X_i{\overline X}+{\overline X}^2 ))\\[10pt]\\E(\sum_{i=1}^nX_i^2)&=&n E(X_i^2) \\ &=& n(D(X_i)+E^2(X_i)) \\ &=& n(\sigma^2+\mu^2) \\\\E(\sum_{i=1}^nX_i{\overline X})&=&E({\overline X}\sum_{i=1}^nX_i) \\[10pt] &=& nE({\overline X}^2)\\[10pt] &=& n(D(\overline X) + E^2(\overline X)) \\[10pt] &=& n(\frac{\sigma^2}{n}+\mu^2) \\[10pt]\\E(S^2) &=& \frac n{n-1}(\sigma^2+\mu^2)-\frac n{n-1}(\frac{\sigma^2}n+\mu^2) \\ &=& \sigma^2 \\\end{array}
证毕~~

  写这篇文章可费了不少劲,大部分时间都花在了公式的编辑上面,这样写文章是不是很ooxx:

Editor using LaTeX

Editor using LaTeX

  但比起用Mathtype编辑然后上传来说,要省多了,尤其是在熟练以后。

;