漫步数理统计十二——随机变量的期望

本篇讲解期望运算，之后内容都会涉及到这种运算。

$\textbf{定义1：}$ (期望)令 $X$ 表示一个随机变量，如果 $X$ 是连续的随机变量，pdf为 $f(x)$ 且

\int \infty - \infty | x | f (x) d x < \infty

$\int_{-\infty}^{\infty}|x|f(x)dx<\infty$

那么 $X$ 的期望为

E (X) = \int \infty - \infty x f (x) d x

$E(X)=\int_{-\infty}^{\infty}xf(x)dx$

如果 $X$ 是离散随机变量，pmf为 $p(x)$ 且

\sum x | x | p (x) < \infty

$\sum_x|x|p(x)<\infty$

那么 $X$ 的期望为

E (X) = \sum x x p (x)

$E(X)=\sum_xxp(x)$

有时候期望 $E(X)$ 称为 $X$ 的数学期望， $X$ 的期望值或者 $X$ 的均值。当用均值时，我们经常将 $E(X)$ 表示成 $\mu$ ；即 $\mu=E(X)$ 。

$\textbf{例1：}$ 考虑一个常数的随机变量，即随机变量它的质量均为常数 $k$ ，也就是pmf $p(k)=1$ 的离散随机变量。因为 $|k|$ 是有限的，所以根据定义我们有

E (k) = k p (k) = k

$E(k)=kp(k)=k$

$\textbf{注1：}$ 期望或期望值这些属于来源于机会游戏，说明如下：有四个相同大小的球，分别标号为1,1,1,2并放到一个盒子中。选手蒙上眼睛并从盒子中抽球，如果抽到数字1，那么选手赢得1元，如果抽到2，那么赢得2元。我们可以假设该选手有 $3/4$ 的概率赢得1元， $1/4$ 的概率赢得2元，他总共可以赢得 $1(3/4)+2(1/4)=(5/4)$ 元，即1.25元，因此 $X$ 的期望也就是该选手在游戏中获得的钱数。

$\textbf{例2：}$ 离散随机变量 $X$ 的pmf如下表所示：

如果

x $x$ 不等于前四个正整数，那么

p(x)=0 $p(x)=0$ ，这就表明我们没有必要用一个公式来描述pmf。基于上面的表格我们有

E (X) = (1) (4 10) + (2) (1 10) + (3) (3 10) + (4) (2 10) = 23 10 = 2.3

$E(X)=(1)(\frac{4}{10})+(2)(\frac{1}{10})+(3)(\frac{3}{10})+(4)(\frac{2}{10})=\frac{23}{10}=2.3$

$\textbf{例3：}$ 令 $X$ 的pdf为

f (x) = {4 x 3 0 0 < x < 1 e l s e w h e r e

$f(x)= \begin{cases} 4x^3&0<x<1\\ 0&elsewhere \end{cases}$

那么

E (X) = \int 10 x (4 x 3) d x = \int 10 4 x 4 d x = [4 x 5 5] 10 = 4 5

$E(X)=\int_0^1x(4x^3)dx=\int_0^14x^4dx=\left[\frac{4x^5}{5}\right]_0^1=\frac{4}{5}$

现在考虑随机变量 $X$ 的函数，称为 $Y=g(X)$ 。因为 $Y$ 是一个随机变量，所以通过求出 $Y$ 的分布即可得到它的期望，然而如下面定理说述，我们可以用 $X$ 的分布确定 $Y$ 的期望。

$\textbf{定理1：}$ 令 $X$ 表示一个随机变量，存在某个函数 $g$ 使得 $Y=g(X)$

假设 $X$ 是连续的，pdf为 $f_X(x)$ 。如果 $\int_{-\infty}^{\infty}|g(x)|f_X(x)dx<\infty$ ，那么 $Y$ 的期望存在且为
$E (Y) = \int \infty - \infty g (x) f X (x) d x$ $E(Y)=\int_{-\infty}^{\infty}g(x)f_X(x)dx$
假设 $X$ 是离散的，pmf为 $p_X(x)$ 。假设 $X$ 的支撑用 $\mathcal{S}_X$ 表示，如果 $\Sigma_{x\in\mathcal{S}_X}|g(x)|p_X(x)<\infty$ ，那么 $Y$ 的期望存在且为
$E (Y) = \sum x \in S X g (x) p X (x)$ $E(Y)=\sum_{x\in\mathcal{S}_X}g(x)p_X(x)$

$\textbf{证明：}$ 我们给出离散情况的证明，假设绝对收敛，

\sum x \in S X | g (x) | p X (x) < \infty

$\sum_{x\in\mathcal{S}_X}|g(x)|p_X(x)<\infty$

意味着下面的结论为真：

级数 $\Sigma_{x\in\mathcal{S}_X}g(x)p_X(x)$ 收敛
上式或1中级数的重排跟原级数一样，收敛到相同的值。
我们需要的重排是 $Y$ 的支撑 $\mathcal{S}_Y$ ，结果2说明
$\sum x \in S X | g (x) | p X (x) = \sum y \in S Y \sum {x \in S X : g (x) = y} | g (x) | p X (x) = \sum y \in S Y | y | \sum {x \in S X : g (x) = y} p X (x) = \sum y \in S Y | y | p Y (y)$ $\begin{align*} \sum_{x\in\mathcal{S}_X}|g(x)|p_X(x) &=\sum_{y\in\mathcal{S}_Y}\sum_{\{x\in\mathcal{S}_X:g(x)=y\}}|g(x)|p_X(x)\\ &=\sum_{y\in\mathcal{S}_Y}|y|\sum_{\{x\in\mathcal{S}_X:g(x)=y\}}p_X(x)\\ &=\sum_{y\in\mathcal{S}_Y}|y|p_Y(y) \end{align*}$

左边是有限的；因此右边也是有限的，所以 $E(Y)$ 存在。根据2，我们可以得出与上面一样的另一组等式，因此

\sum x \in S X g (x) p X (x) = \sum y \in S Y y p Y (y) = E (Y)

$\sum_{x\in\mathcal{S}_X}g(x)p_X(x)=\sum_{y\in\mathcal{S}_Y}yp_Y(y)=E(Y)$

即所要求的结论。

定理1说明了期望运算 $E$ 是一个线性运算。

$\textbf{定理2：}$ 令 $g_1(X),g_2(X)$ 是随机变量 $X$ 的函数，假设 $g_1(X),g_2(X)$ 的期望存在，那么对任意常数 $k_1,k_2$ ， $k_1g_1(X)+k_2g_2(X)$ 的期望存在且为

E [k 1 g 1 (X) + k 2 g 2 (X)] = k 1 E [g 1 (X)] + k 2 E [g 2 (X)]

$E[k_1g_1(X)+k_2g_2(X)]=k_1E[g_1(X)]+k_2E[g_2(X)]$

$\textbf{证明：}$ 对于连续情况，存在性来自于假设，三角不等式与积分的线性；即

\int \infty - \infty | k 1 g 1 (x) + k 2 g 2 (x) | f X (x) d x \leq | k 1 | \int \infty - \infty | g 1 (x) | f X (x) d x + | k 2 | \int \infty - \infty | g 2 (x) | f X (x) d x < \infty

$\begin{align*} \int_{-\infty}^{\infty}|k_1g_1(x)+k_2g_2(x)|f_X(x)dx\leq &|k_1|\int_{-\infty}^{\infty}|g_1(x)|f_X(x)dx\\ &+|k_2|\int_{-\infty}^{\infty}|g_2(x)|f_X(x)dx<\infty \end{align*}$

离散情况与此类似，用到的是和的线性性质。

下面的例子说明这些定理。

$\textbf{例4：}$ 令 $X$ 的pdf为

f (x) = {2 (1 - x) 0 0 < x < 1 e l s e w h e r e

$f(x)= \begin{cases} 2(1-x)&0<x<1\\ 0&elsewhere \end{cases}$

那么

E (X) = \int \infty - \infty x f (x) d x = \int 10 (x) 2 (1 - x) d x = 1 3 E (X 2) = \int \infty - \infty x 2 f (x) d x = \int 10 (x 2) 2 (1 - x) d x = 1 6

$\begin{align*} E(X)=\int_{-\infty}^{\infty}xf(x)dx=\int_0^1(x)2(1-x)dx=\frac{1}{3}\\ E(X^2)=\int_{-\infty}^{\infty}x^2f(x)dx=\int_0^1(x^2)2(1-x)dx=\frac{1}{6} \end{align*}$

当然

E (6 X + 3 X 2) = 6 (1 3) + 3 (1 6) = 5 2

$E(6X+3X^2)=6(\frac{1}{3})+3(\frac{1}{6})=\frac{5}{2}$

$\textbf{例5：}$ 令 $X$ 的pmf为

p (x) = {x 6 0 x = 1, 2, 3 e l s e w h e r e

$p(x)= \begin{cases} \frac{x}{6}&x=1,2,3\\ 0&elsewhere \end{cases}$

那么

E (X 3) = \sum x x 3 p (x) = \sum x = 1 3 x 3 x 6 = 1 6 + 16 6 + 81 6 = 98 6

$\begin{align*} E(X^3) &=\sum_xx^3p(x)=\sum_{x=1}^3x^3\frac{x}{6}\\ &=\frac{1}{6}+\frac{16}{6}+\frac{81}{6}=\frac{98}{6} \end{align*}$

$\textbf{例6：}$ 随机变量 $X$ 的pdf为

f (x) = {1 5 0 0 < x < 5 e l s e w h e r e

$f(x)= \begin{cases} \frac{1}{5}&0<x<5\\ 0&elsewhere \end{cases}$

$X$ 的期望值为 $E(X)=5/2$ ， $5-x$ 的期望值为 $E(5-x)=5/2$ ，但是他们乘积的期望值等于

E [X (5 - X)] = \int 50 x (5 - x) (1 5) d x = 25 6 \neq (5 2) 2

$E[X(5-X)]=\int_0^5x(5-x)(\frac{1}{5})dx=\frac{25}{6}\neq(\frac{5}{2})^2$

即一般情况下，乘积的期望值不等于各自期望值的乘积。

$\textbf{例7：}$ 一个盒子中有五个个完全一样的球，三个标记为1，两个标记为4，一位选手蒙上眼睛，不放回地随机抽两个球，该选手获得的钱数就是两个球上面数字的总和。令 $X$ 表示标记为1的球的个数，那么在我们的假设下， $X$ 满足超几何pmf

p (x) = ⎧ ⎩ ⎨ ⎪ ⎪ ( 3 x ) ( 2 2 - x ) ( 5 2 ) 0 x = 0, 1, 2 e l s e w h e r e

$p(x)= \begin{cases} \frac{\binom{3}{x}\binom{2}{2-x}}{\binom{5}{2}}&x=0,1,2\\ 0&elsewhere \end{cases}$

如果 $X=x$ ，那么选手收到 $u(x)=x+4(2-x)=8-3x$ 元，因此它的数学期望等于

E [8 - 3 X] = \sum x = 0 2 (8 - 3 x) p (x) = 44 10

$E[8-3X]=\sum_{x=0}^2(8-3x)p(x)=\frac{44}{10}$

或者 $4.40$ 元。

漫步数理统计十二——随机变量的期望

悦读