信息论习题

1. 已经两个离散信源X和Y，其联合概率P(X,Y)为：P(0,0)=1/8，P(0,1)=3/8，P(1,0)=3/8，P(1,1)=1/8，现定义另一个随机变量：Z=XY(一般乘积)，试求H(X)，H(Y)，H(Z)及H(X,Y)。

2. 有一个一阶马尔柯夫信源X={A,B,C}，已知：p(A)=1/2，p(B)=p(C)=1/4，信源状态之间的转移概率p(j/i)分别为：

p(A/A)=1/2, p(B/A)=1/4, p(C/A)=1/4, p(A/B)=2/3, p(B/B)=0, p(C/B)=1/3, p(A/C)=2/3, p(B/C)=1/3, p(C/C)=0。 求：信源的熵和剩余度？

3. 设一个连续随机变量X的概率密度函数为

bx2x p(x)2 0其它求信源X的熵H(X)。

4. 设一个连续随机变量X的概率密度函数为 p(x)1Xe －∞＜X＜∞ 2求信源X的熵H(X)。

5.掷一枚均匀的硬币，直到出现“正面”为止。令X表示所需掷出的次数，求熵H(X)。 6.设有噪声二元对称信道(BSC)的信道误码率为pe=1/8，码速率为n=1000/s,

（1）若p(0)=1/3, p(1)=2/3, 求信道熵速率， （2）求信道容量。

7.某无线电厂可生产A，B，C，D四种产品，其中，A占10%，B占20% ，C占30% ，D占40%。有两种消息：“现完成一台B种产品”，“现完成一台C种产品”，试问哪一种消息提供的信息量大？ 8．设每帧电视图象是由3×105个象素组成，所有象素是相互的，且每个象素可取128个不同的亮度电平，并假设各种亮度电平是等概出现的。问每帧电视图象含有多少信息量？

9.设电话信号的信息速率为5.6×104bit/s，在一个噪声功率谱密度为N0=5×10-6mW/Hz，频带为F，限输入功率为P的高斯信道中传送，若F=4KHz，问无差错传输所需的最小功率是多少？若F趋于无穷，则P是多少瓦。

10.一个BSC信道的信道转移概率为

P1/1=P0/0=0.98, P1/0=P0/1=0.02

设该信道以1500个二进制符号/每秒的速度传输符号，现有一消息共有14000个二进制符号，且P(0)=P(1)=1/2，问10秒钟内能否将这个消息传输完。

11.已知一个平均功率受限的连续信源，通过带宽为1MHz的高斯白噪声信道，试求： (1)若信噪比为100dB, 信道容量为多少？

(2)若使信道容量不变，信噪比为60dB, 信道带宽应为多少？ 12. 设信源S的信源空间为

S： s1 s2 s3 s4 s5 s6 s7 s8 P(S): 0.01 0.09 0.2 0.3 0.1 0.05 0.2 0.05 (1) 用等长码编码, 并求平均码长和编码效率？ (2) 用Huffman编码, 并求平均码长和编码效率？ 13.设信源S的信源空间为

S: s1, s2 P(S): 0.2 0.8

(1)若用最佳二元编码，试计算平均码长L的下限值；

(2)若把信源作N次扩展后进行最佳二元编码，试求N=2，N=3时的平均码长。

14 已知二进制对称信道BSC中，符号S0出现的概率为P0，符号S0出现的概率为P1=1-P0，信道传输误比特率为Pe，求证：信道输入输出的平均交互信息量为 I(X,Y)=H(Y)-H(Y/X)，其中

11H(Y)Zlog2()(1Z)log2()

Z1ZZP0PeP1(1Pe)

H(Y/X)Pelog2(11)(1Pe)log2() Pe1Pe15 证明两个离散信源的条件熵和熵之间满足如下关系：H(Y/X)≤H(Y)。

16 设连续信源x的幅值受限，-Mfx(x)1/2M0MxM

xM求其相对熵(连续信源地熵)。

17 假设一次掷两个均匀且相互的骰子。如果事件A，B，C分别表示：（A）仅有一个骰子是3；（B）至少有一个骰子是5；（C）骰子上的点数的总和是偶数。 试计算事件（A），（B），（C）发生后提供的信息量。 18 设某信道的信道转移矩阵[P(Y/X)]为

1 0

[P]=

ε 1-ε

求该信道的信道容量。 19 某信源S的信源空间为

S: s1 s2

[S P]=

P(S): 0.2 0.2

将次信源做二次扩展后进行Huffman编码，并计算其平均码长。 20 设信源S的信源空间为

S: s1 s2 s3 s4 s5 s6

[S P]=

P(S): 0.24 0.20 0.18 0.16 0.14 0.08

编码符号集A={0，1，2}，试编出最佳码，并计算平均码长。

21 证明联合信源的共熵和熵满足H（X，Y）≤H（X）+H（Y）。

22 设某离散信道的信道转移矩阵[P(Y/X)]为

1 0 0

[P]= 0 1-ε ε

0 ε 1-ε

求该信道的信道容量C。

23 设二元对称信道的信源空间为：X={0,1}; [P(X)]={ω, 1-ω};

0 p 1-p 0 p 1

证明平均交互信息量为ω的上凸函数。

1-p 1 q24 设一个齐次马尔柯夫链的一步转移概率矩阵为q0p0q0p p求该马氏链的二次转移概率矩阵及这个马尔柯夫的熵。

25 试证明平均码长极限定理，即若一个离散无记忆信源S的熵为H(S)，对其进行q元编码，则总可以找到一种编码方法构成单义可译码，使平均码长满足：

H(S)H(S)L1 logqlogq；求该信道的信道容量。 26 设离散无记忆信道的信道转移矩阵[P(Y/X)]为 1127 证明当信道输入符号集X的先验概率为等概时，最大似然准则等价于最大后验概率译码准则。 28 证明：再如图所示的串联信道上，对于所有满足p(x,y,z)>0的(x,y,z)，I(X,Y; Z)≥I(Y; Z)。当且仅

当p(z/x,y)=p(z/y)时，等式成立。

X DMC1 Y DMC2 Z 编码部分:

1.一种(6,3)线性分组码的生成矩阵为

100011 [G]=010101

001110(1)写出所有的许用码字；

(2)写出相应的一致监督矩阵；

(3)如果接收码字分别为R1=111100，R2=100001，R3=001011，试根据最大似然法则进行译码。 32

2.已知一种(7,4)循环码的生成多项式为g(x)=x+x+1 (1)信息码字为[1010]时的非系统循环码字； (2)信息码字为[1010]时的系统循环码字； (3)生成矩阵的标准形式(典型生成矩阵)[G]；

(4)当错误图样为e = [0010000] 时，求校验子向量[S]。

3.证明循环码C中次数最低的非零码子多项式是唯一的。

4.令g(x)=g0+g1X+……gr-1+Xr-1+Xr是一个(n,k)循环码C中次数最低的非零码子多项式，证明其常数项g0必为1。

5.证明(n,k)循环码的生成多项式g(x)是Xn+1的因式。

87

6.一种码长=15的本原BCH码的生成多项式为g(x)=x+x+x+x+1, 其根为

1,2,3,4,6,8,9,12,

(1)求其信息元位数和监督元位数； (2)求最小汉明距离的大小；

4

(3)若信息码字多项式为m(x)=x+x+1，求其系统码的码字多项式c(x)。 7.已知(3,1,4)卷积码的基本监督矩阵为 h100100000110 100000100101试写出矩阵[g]，[H]，[G]。

8.已知(2,1,3)系统卷积码的生成多项式为 g(1)(x)=1, g(2)(x)=1+x+x3

(1)画出编码器原理框图；

(2)写出基本监督矩阵和基本生成矩阵；

(3)求出与信息序列m=[10110]相应的码子C。 试写出矩阵[g]，[H]，[G]。

32

9.已知一种(7,4)循环码的生成多项式为g(x)=x+x+1 (1)信息码字为[1010]时的系统循环码字；

(2)当错误图样为e = [0010000] 时，求校验子向量[S]。 10.已知(3,1,4)卷积码的基本监督矩阵为 h100100000110 100000100101试写出矩阵[g]，[H]，[G]。

11.证明(n,k)循环码的生成多项式g(x)是Xn+1的因式。

87

12.一种码长=15的本原BCH码的生成多项式为g(x)=x+x+x+x+1, 其根为：

1,2,3,4,6,8,9,12,

(1)求其信息元位数和监督元位数； (2)求最小汉明距离的大小；

4

(3)若信息码字多项式为m(x)=x+x+1，求其系统码的码字多项式c(x)。

13.已知(2,1,3)非系统卷积码的生成多项式为 g(1)(x)=1+x, g(2)(x)=1+x+x3

(1)画出编码器原理框图； (2)写出基本生成矩阵；

(3)求出与信息序列m=[10110]相应的码子C。 32

14.已知一种(7,4)循环码的生成多项式为g(x)=x+x+1 (1)信息码字为[1010]时的非系统循环码字； (2)信息码字为[1010]时的系统循环码字； (3)生成矩阵的标准形式(典型生成矩阵)[G]；

(4)当错误图样为e = [0010000] 时，求校验子向量[S]。

000111115.已知(7,4)循环码的非标准型监督矩阵为 [H]非0110011

1010101求其标准型监督矩阵[H]标和典型生成矩阵[G]典。

16. 令g(x)=x10+x8+x5+x4+x2+x+1是(15,5)循环码的生成多项式，

试求：(1)校验子多项式；(2)写出该码系统码的H和G；(3)分析其纠检错能力？

17. 一种(8,4)系统码C={c0,c1,c2,c3,c4,c5,c6,c7}，其一致监督方程为 c4= c1+c2+c3 c5= c0+c1+c2 c6= c0+c1+c3 c7= c0+c2+c3

(1)写出该码的一致监督矩阵H和生成矩阵G； (2)证明其最小码距等于4； (3)构造其对偶码的监督方程。

18. 设一个(n,k)循环码的生成多项式g(x)，且n为奇数，x+1不是g(x)的因式，试证明全为1的n重为一个循环码的码字。

19. 已知(2,1,3)卷积码的生成多项式为

g(1) (x)=1+x+x3, g(2)(x)=1+x+x2+x3 (1)画出编码器原理框图；

(2)写出基本生成矩阵[g]和生成矩阵[G]；

(3)求出与信息序列m=[10110]相应的码子C。

20 已知(2,1,3)系统卷积码的生成多项式为 g(1)(x)=1, g(2)(x)=1+x+x3 (1) 画出编码器原理框图； (2) 写出基本生成矩阵[g]；

(3) 求出与信息序列m=[10110]相应的码子C。

21 已知一个线性分组码的生成多项式为g(x)=x4+x2+x+1，如果输入信息码为10101010……， 求系统码的码字输出。

22 已知GF(23)上的(7,3)RS码的生成多项式为g(x)=x4+a3x3+x2+ax+a3，求：

(1)GF(23)上所有元素的矢量表示；

(2)该码的生成矩阵；

(3)信息码字[m]=[1,a,a3]的RS码字；