引言
学概率论和数理统计当时有个问题:样本方差为什么除以(n-1),当时学习的时候不是很理解,然而问老师老师也讲不出所以然(感觉老师好水呃…),于是自己找资料学习一下吧。整理如下。
1.前置知识
之前学过概率论和数理统计的小伙伴肯定也知道下面的公式:
1.如果均值(期望) E ( x ) = μ \mathbf{E}(x)=\mu E(x)=μ,方差 D ( x ) = σ 2 \mathbf{D}(x)=\sigma^2 D(x)=σ2,那么 E ( x ‾ ) = μ \mathbf{E}(\overline{x})=\mu E(x)=μ, D ( x ‾ ) = σ 2 / n \mathbf{D}(\overline{x})=\sigma^2/n D(x)=σ2/n
2.注意总体方差
σ
2
\sigma^2
σ2和样本方差
S
2
S^2
S2的公式是不一样的,首先分母一个是除以n,一个是除以(n-1),其次平方和内部一个减去的是总体均值
μ
\mu
μ,一个减去的是样本均值
x
‾
\overline{x}
x,也即。
σ
2
=
∑
i
=
1
n
(
x
i
−
μ
)
2
n
,
S
2
=
∑
i
=
1
n
(
x
i
−
x
‾
)
2
n
−
1
\sigma^2=\frac{\sum_{i=1}^{n}(x_i-\mu)^2}{n},S^2=\frac{\sum_{i=1}^{n}(x_i-\overline{x})^2}{n-1}
σ2=n∑i=1n(xi−μ)2,S2=n−1∑i=1n(xi−x)2
3. ∑ 1 = 1 k ( x i − x ‾ ) = 0 \sum_{1=1}^k(x_i-\overline{x})=0 ∑1=1k(xi−x)=0
2.证明思路
其实样本方差 S 2 S^2 S2本质上是总体均值 μ \mu μ或总体方差 σ 2 \sigma^2 σ2的一个点估计,是一个随机变量,而良好的点估计有两点最重要的性质:
(1)点估计是无偏的,点估计的期望值应该是被估计的参数,但仅满足这一点不够,因为点估计的形式可能有很多,所以还有第2条。
(2)无偏估计量有最小方差,最小方差点估计的方差比参数的任何一个其他估计量的方差都小。
下面证明 S 2 S^2 S2是 σ 2 \sigma^2 σ2的无偏估计量。即证明点估计的期望值应该是被估计的总体参数。
3.证明过程
总结了一下有下面的两种证明方法:其中第一种是书上常见给出的,第二种更好进行理解。
证明方法1: E ( S 2 ) = E ( ∑ i = 1 n ( x i − x ‾ ) 2 n − 1 ) = 1 n − 1 E [ ∑ i = 1 n ( x i − x ‾ ) 2 ] = 1 n − 1 E [ ∑ i = 1 n x i 2 − n x ‾ 2 ] = 1 n − 1 [ ∑ i = 1 n ( μ 2 + σ 2 ) − n ( μ 2 + σ 2 n ) ] = 1 n − 1 ( n − 1 ) σ 2 = σ 2 \begin{aligned}\mathbf{E}({S^2})&=\mathbf{E}(\frac{\sum_{i=1}^{n}(x_i-\overline{x})^2}{n-1})\\&=\frac{1}{n-1}\mathbf{E}[\sum_{i=1}^{n}(x_i-\overline{x})^2]\\&=\frac{1}{n-1}\mathbf{E}[\sum_{i=1}^{n}x_i^2-n\overline{x}^2]\\&=\frac{1}{n-1}[\sum_{i=1}^n(\mu^2+\sigma^2)-n(\mu^2+\frac{\sigma^2}{n})]\\&=\frac{1}{n-1}(n-1)\sigma^2\\&=\sigma^2\end{aligned} E(S2)=E(n−1∑i=1n(xi−x)2)=n−11E[i=1∑n(xi−x)2]=n−11E[i=1∑nxi2−nx2]=n−11[i=1∑n(μ2+σ2)−n(μ2+nσ2)]=n−11(n−1)σ2=σ2
证明方法2:
假设 t t t是一个常数: ∑ i = 1 n ( x i − t ) 2 = ∑ i = 1 n ( x i − x ‾ + x ‾ − t ) 2 = ∑ i = 1 n ( x i − x ‾ ) 2 + 2 ∑ i = 1 n ( x i − x ‾ ) ( x ‾ − t ) + ∑ i = 1 n ( x ‾ − t ) 2 = ∑ i = 1 n ( x i − x ‾ ) 2 + 2 ( x ‾ − t ) ∑ i = 1 n ( x i − x ‾ ) + ∑ i = 1 n ( x ‾ − t ) 2 = ∑ i = 1 n ( x i − x ‾ ) 2 + ∑ i = 1 n ( x ‾ − t ) 2 = ∑ i = 1 n ( x i − x ‾ ) 2 + n ( x ‾ − t ) 2 \begin{aligned}\sum_{i=1}^{n}(x_i-t)^2&=\sum_{i=1}^{n}(x_i-\overline{x}+\overline{x}-t)^2\\&=\sum_{i=1}^{n}(x_i-\overline{x})^2+2\sum_{i=1}^{n}(x_i-\overline{x})(\overline{x}-t)+\sum_{i=1}^{n}(\overline{x}-t)^2\\&=\sum_{i=1}^{n}(x_i-\overline{x})^2+2(\overline{x}-t)\sum_{i=1}^{n}(x_i-\overline{x})+\sum_{i=1}^{n}(\overline{x}-t)^2\\&=\sum_{i=1}^{n}(x_i-\overline{x})^2+\sum_{i=1}^{n}(\overline{x}-t)^2\\&=\sum_{i=1}^{n}(x_i-\overline{x})^2+n(\overline{x}-t)^2\end{aligned} i=1∑n(xi−t)2=i=1∑n(xi−x+x−t)2=i=1∑n(xi−x)2+2i=1∑n(xi−x)(x−t)+i=1∑n(x−t)2=i=1∑n(xi−x)2+2(x−t)i=1∑n(xi−x)+i=1∑n(x−t)2=i=1∑n(xi−x)2+i=1∑n(x−t)2=i=1∑n(xi−x)2+n(x−t)2
令式中的 t t t为总体均值 μ \mu μ,则有 ∑ i = 1 n ( x i − x ‾ ) 2 = ∑ i = 1 n ( x ‾ − μ ) 2 − n ( x ‾ − μ ) 2 \begin{aligned}\sum_{i=1}^{n}(x_i-\overline{x})^2=\sum_{i=1}^{n}(\overline{x}-\mu)^2-n(\overline{x}-\mu)^2\end{aligned} i=1∑n(xi−x)2=i=1∑n(x−μ)2−n(x−μ)2
可以看到 ∑ i = 1 n ( x i − x ‾ ) 2 \sum_{i=1}^{n}(x_i-\overline{x})^2 ∑i=1n(xi−x)2和 ∑ i = 1 n ( x ‾ − μ ) 2 \sum_{i=1}^{n}(\overline{x}-\mu)^2 ∑i=1n(x−μ)2之间不是严格相等的,还相差一个 n ( x ‾ − μ ) 2 n(\overline{x}-\mu)^2 n(x−μ)2。则 E ( S 2 ) = E ( ∑ i = 1 n ( x i − x ‾ ) 2 n − 1 ) = 1 n − 1 E [ ∑ i = 1 n ( x i − x ‾ ) 2 ] = 1 n − 1 E [ ∑ i = 1 n ( ( x ‾ − μ ) 2 − n ( x ‾ − μ ) 2 ) ] = 1 n − 1 [ E ( ∑ i = 1 n ( x ‾ − μ ) 2 ) − E ( ∑ i = 1 n n ( x ‾ − μ ) 2 ) ] = 1 n − 1 [ E ( ∑ i = 1 n ( x ‾ − μ ) 2 ) − n E ( ∑ i = 1 n ( x ‾ − μ ) 2 ) ] = 1 n − 1 ( n σ 2 − n ⋅ σ 2 n ) = σ 2 \begin{aligned}\mathbf{E}({S^2})&=\mathbf{E}(\frac{\sum_{i=1}^{n}(x_i-\overline{x})^2}{n-1})\\&=\frac{1}{n-1}\mathbf{E}[\sum_{i=1}^{n}(x_i-\overline{x})^2]\\&=\frac{1}{n-1}\mathbf{E}[\sum_{i=1}^{n}(\left(\overline{x}-\mu)^2-n(\overline{x}-\mu)^2\right)]\\&=\frac{1}{n-1}[\mathbf{E}\left(\sum_{i=1}^{n}(\overline{x}-\mu)^2\right)-\mathbf{E}\left(\sum_{i=1}^{n}n(\overline{x}-\mu)^2\right)]\\&=\frac{1}{n-1}[\mathbf{E}\left(\sum_{i=1}^{n}(\overline{x}-\mu)^2\right)-n\mathbf{E}\left(\sum_{i=1}^{n}(\overline{x}-\mu)^2\right)]\\&=\frac{1}{n-1}(n\sigma^2-n\cdot\frac{\sigma^2}{n})\\&=\sigma^2\end{aligned} E(S2)=E(n−1∑i=1n(xi−x)2)=n−11E[i=1∑n(xi−x)2]=n−11E[i=1∑n((x−μ)2−n(x−μ)2)]=n−11[E(i=1∑n(x−μ)2)−E(i=1∑nn(x−μ)2)]=n−11[E(i=1∑n(x−μ)2)−nE(i=1∑n(x−μ)2)]=n−11(nσ2−n⋅nσ2)=σ2
两种证明方法都可以帮助理解。希望能对大家有帮助。