（每日一题）《信息论基础》填空题（10）

1.填空题（本题共有10个小空格，每个小空格值为1分，共20分）

，离散信息源可以分为两类：记忆信息源和无记忆信息源。

，其概率分布为，%； 如果信源扩展十倍，则每十个符号的平均信息量为15比特。

，放大器输出的最大瞬时电压为b，最小瞬时电压为a。 如果消息从放大器输出，则源的绝对熵为； 每个自由度所能得到的最大熵为log(ba)bit/自由度； 若放大器的最高频率为F，则单位时间内输出的最大信息量为2Flog(ba)bit/s。

5.如果某个来源

6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。

7、无失真信源编码平均码长的最小理论极限是信源熵（或H(S)/logr=Hr(S)）。

8、当R=C或（通道残差度为0）时，源与通道匹配。

9、根据是否允许失真，信源编码可分为无失真信源编码和失真限制信源编码。

10.选择在下面的空格中填写数学符号“”或“”

(1) 当X和Y相互独立时，H(XY)=H(X)+H(X/Y)。

(2) 假设通道输入用X表示，通道输出用Y表示。在无噪声有损通道中，H(X/Y)>0，H(Y/X)=0，I(X； Y) 2.掷两个骰子，每一面出现的概率都是1/6，计算信息量：

,这条消息包含多少信息？ ,这条消息包含多少信息？

解：（“点数之和为3”）=P(1,2)+ P(1,2)=1/36+1/36=1/18

那么消息中包含的信息量为：I=-logP(“点数之和为3”)=log18=

（“点数之和为7”）=P(1,6)+ P(6,1)+ P(5,2)+ P(2,5)+ P(3,4)+ P(4 ,3) =1/36 6=1/6

那么消息中包含的信息量为：I=-logP(“点数之和为7”)=log6=

(“两点都不为1”)=1-P(“两点至少有一个为1”)

=1-P(1,1or1,约里,1)=1-(1/36+5/36+5/36)=25/36

那么消息中包含的信息量为：I=-logP（“两点都不为1”）=log25/36=

3、假设X和Y是两个统计上相互独立的二元随机变量，它们取-1或1的概率相等。 定义另一个二元随机变量Z，取Z=YX（通积）。 尝试计算：

(Y)、H(Z)； (XY)、H(YZ)； (X;Y)，I(Y;Z)；

解：1.=1bit/

Z=YX 且 X 和 Y 彼此独立

因此H(Z)= =1位/符号

：Y和X的联合概率分布为：

P(Y,Z)

Y=1

Y=-1

Z=1

Z=-1

H(YZ)=H(X)+H(Y)=1+1=2位/符号

，所以 H(X|Y)=H(X)=1 位