T1
(二进无噪信道)设 X = Y = { 0 , 1 } , Q = I 2 X=\mathcal{Y}=\{0,1\},Q=I_2 X=Y={0,1},Q=I2 ,试求信道容量。
解：
有
I
(
p
;
Q
)
=
p
(
0
)
[
Q
(
0
∣
0
)
log
Q
(
0
∣
0
)
p
(
0
)
Q
(
0
∣
0
)
+
p
(
1
)
Q
(
0
∣
1
)
+
Q
(
1
∣
0
)
log
Q
(
1
∣
0
)
p
(
0
)
Q
(
1
∣
0
)
+
p
(
1
)
Q
(
1
∣
1
)
]
+
p
(
1
)
[
Q
(
0
∣
1
)
log
Q
(
0
∣
1
)
p
(
0
)
Q
(
0
∣
0
)
+
p
(
1
)
Q
(
0
∣
1
)
+
Q
(
1
∣
1
)
log
Q
(
1
∣
0
)
p
(
0
)
Q
(
1
∣
0
)
+
p
(
1
)
Q
(
1
∣
1
)
]
=
p
(
0
)
log
1
p
(
0
)
+
p
(
1
)
log
1
p
(
1
)
=
H
(
X
)
\begin{aligned}&I(p;Q)=p(0)[Q(0|0)\log\frac{Q(0|0)}{p(0)Q(0|0)+p(1)Q(0|1)}\\&+Q(1|0)\log\frac{Q(1|0)}{p(0)Q(1|0)+p(1)Q(1|1)}]\\&+p(1)[Q(0|1)\log\frac{Q(0|1)}{p(0)Q(0|0)+p(1)Q(0|1)}\\&+Q(1|1)\log\frac{Q(1|0)}{p(0)Q(1|0)+p(1)Q(1|1)}]\\&=p(0)\log\frac1{p(0)}+p(1)\log\frac1{p(1)}=H(X)\end{aligned}
I(p;Q)=p(0)[Q(0∣0)logp(0)Q(0∣0)+p(1)Q(0∣1)Q(0∣0)+Q(1∣0)logp(0)Q(1∣0)+p(1)Q(1∣1)Q(1∣0)]+p(1)[Q(0∣1)logp(0)Q(0∣0)+p(1)Q(0∣1)Q(0∣1)+Q(1∣1)logp(0)Q(1∣0)+p(1)Q(1∣1)Q(1∣0)]=p(0)logp(0)1+p(1)logp(1)1=H(X)
因此
C
=
max
n
(
x
)
H
(
X
)
=
log
∣
∣
X
∣
∣
=
1
C=\max_{n(x)}H(X)=\log||\mathcal{X}||=1
C=maxn(x)H(X)=log∣∣X∣∣=1bit,当且仅当
p
p
p为均匀分布时取得。
T2
(对称信道)设
X
=
Y
=
{
0
,
1
}
\mathcal{X} = \mathcal{Y} = \{ 0, 1\}
X=Y={0,1},
Q
=
[
1
−
ε
ε
ε
1
−
ε
]
Q= \begin{bmatrix} 1- \varepsilon & \varepsilon \\ \varepsilon & 1- \varepsilon \end{bmatrix}
Q=[1−εεε1−ε],求信道容量。
解:
计算可得
( p ; Q ) = − [ p ( 0 ) ( 1 − ε ) + p ( 1 ) ε ] log [ p ( 0 ) ( 1 − ε ) + p ( 1 ) ε ] − [ p ( 0 ) ε + p ( 1 ) ( 1 − ε ) ] log [ p ( 0 ) ε + p ( 1 ) ( 1 − ε ) ] − ε log ε − ( 1 − ε ) log ( 1 − ε ) = H ( Y ) − h ( ε ) ≤ log ∣ ∣ Y ∣ ∣ − h ( ε ) = 1 − h ( ε ) . \begin{aligned}&(p;Q)=-[p(0)(1-\varepsilon)+p(1)\varepsilon]\log[p(0)(1-\varepsilon)+p(1)\varepsilon]\\&-[p(0)\varepsilon+p(1)(1-\varepsilon)]\log[p(0)\varepsilon+p(1)(1-\varepsilon)]\\&-\varepsilon\log\varepsilon-(1-\varepsilon)\log(1-\varepsilon)\\&=H(Y)-h(\varepsilon)\leq\log||\mathcal{Y}||-h(\varepsilon)=1-h(\varepsilon).\end{aligned} (p;Q)=−[p(0)(1−ε)+p(1)ε]log[p(0)(1−ε)+p(1)ε]−[p(0)ε+p(1)(1−ε)]log[p(0)ε+p(1)(1−ε)]−εlogε−(1−ε)log(1−ε)=H(Y)−h(ε)≤log∣∣Y∣∣−h(ε)=1−h(ε).
其中 h h h为第一章中的二进熵函数。显然等号成立当且仅当输出分布 Y = μ = ( 1 2 , 1 2 ) Y=\mu=(\frac12,\frac12) Y=μ=(21,21)是均匀分布。
由此，反解输入分布：设
ξ
Q
=
μ
\xi Q=\mu
ξQ=μ
则当
ε
≠
1
2
\varepsilon\neq\frac{1}{2}
ε=21时，
Q
Q
Q可逆，
ξ
\xi
ξ有唯一解，用Cramer 法则解之可得
ξ
=
(
1
2
,
1
2
)
\xi=(\frac12,\frac12)
ξ=(21,21) 也是均匀分布。
当
ε
=
1
2
\varepsilon=\frac12
ε=21 时
∣
Q
∣
=
0
|Q|=0
∣Q∣=0,不可逆。此时解得：
ξ
1
+
ξ
2
=
1
\xi_1+\xi_2=1
ξ1+ξ2=1 ,即只要
ξ
\xi
ξ是一个输入分布即可，也就是任何输入分布均可达到信道容量。
□
\square
□
注 ξ Q = μ \xi Q=\mu ξQ=μ有时不一定有解，这时需采取其他方法。参看T3
T3
(对称删除信道) 设 X = { 0 , 1 } , Y = { 0 , 1 , 2 } , Q = [ 1 − ε 0 ε 0 1 − ε ε ] \mathcal{X}=\{0,1\},\mathcal{Y}=\{0,1,2\},Q=\begin{bmatrix}1-\varepsilon&0&\varepsilon\\0&1-\varepsilon&\varepsilon\end{bmatrix} X={0,1},Y={0,1,2},Q=[1−ε001−εεε]。试求信道容量。
解:
类似T2，可得
I
(
p
;
Q
)
=
H
(
Y
)
−
h
(
ε
)
I(p;Q)=H(Y)-h(\varepsilon)
I(p;Q)=H(Y)−h(ε) ,但是这次不一定存在使
Y
Y
Y服从均匀分布的初始分布了，原因是由于一般没有(这里利用的是线性方程组有解当且仅当系数矩阵的秩等于增广矩阵的秩)
r [ 1 − ε 0 1 3 0 1 − ε 1 3 ε ε 1 3 ] = 2 , r\begin{bmatrix}1-\varepsilon&0&\frac13\\\\0&1-\varepsilon&\frac13\\\\\varepsilon&\varepsilon&\frac13\end{bmatrix}=2\:, r 1−ε0ε01−εε313131 =2,
于是只能利用定义进行计算了，事实上
H ( Y ) = − ( 1 − ε ) p ( 0 ) log ( 1 − ε ) p ( 0 ) − ( 1 − ε ) p ( 1 ) log ( 1 − ε ) p ( 1 ) − ε log ε ≤ − ( 1 − ε ) log 1 − ε 2 ε log ε \begin{aligned}H(Y)&=-(1-\varepsilon)p(0)\log(1-\varepsilon)p(0)-(1-\varepsilon)p(1)\log(1-\varepsilon)p(1)-\varepsilon\log\varepsilon\\ &\leq-(1-\varepsilon)\log\frac{1-\varepsilon}2\varepsilon\log\varepsilon\end{aligned} H(Y)=−(1−ε)p(0)log(1−ε)p(0)−(1−ε)p(1)log(1−ε)p(1)−εlogε≤−(1−ε)log21−εεlogε
其中等号成立当且仅当 X X X服从均匀分布，其推导与二进熵函数类似。于是
C = − ( 1 − ε ) log 1 − ε 2 − ε log ε + ε log ε + ( 1 − ε ) log ( 1 − ε ) = 1 − ε 。口 C=-(1-\varepsilon)\log\frac{1-\varepsilon}2-\varepsilon\log\varepsilon+\varepsilon\log\varepsilon+(1-\varepsilon)\log(1-\varepsilon)=1-\varepsilon\text{。口} C=−(1−ε)log21−ε−εlogε+εlogε+(1−ε)log(1−ε)=1−ε。口