重庆邮电大学2007/2008学年2学期《信息论基础》

3.（16分）已知来源（1）利用哈夫曼编码方法编译二进制变长码； （4分） （2）计算平均码长； （4分） （3）计算编码信息率； （4分） （4）计算编码后的信息传输速率； （2分） （5）计算编码效率。 （2分） 4.（12分）给定一个平均功率有限的连续信号通过一个带宽的高斯白噪声信道，尝试计算（1）如果信噪比为10，该信道是什么容量？ （4分） （2）如果信道容量不变，信噪比降低到5，则信道带宽是多少？ (4 分) (3) 如果信道频带减小到 ，保持相同的信道容量，信道上信号与噪声的平均功率比应为多少？ （4分） 5.（16分） 某个信息源发出的符号的概率为： EMBED .DSMT4 假设信息源发出的符号是相关的，依赖关系为： （1）画出状态转移图（4分） （2）计算稳态概率（4分） （3）计算源的极限熵（4分） （4）计算H1、H2及其对应的稳态残差度。 （4分） 6.（8分）同时抛掷两只正常股票，即两边出现的概率相同。 计算（1）事件“3和4同时出现”的自信息量； （2分） （2）自我信息表明两点中至少有一个为1； （2分） （3）自述两点之和为3； （2分） （4）两点的各种组合（无）序列对的熵）。 （2分） 7.（22分）假设离散无记忆源的概率空间为，通过二元对称信道，其概率传递矩阵为，信道输出处接受的符号集为 （1）计算源熵（4分） （2）损失熵； (4分) (3)噪声熵； （4分） （4）收到消息Y后得到的平均互信息量（4分） （5）信道的信道容量（4分） （6）解释当信道达到信道容量时的输入概率分布。

（2分） 《信息论基础》试卷答案 一、填空题（共20分，每空1分） 1、在通信系统中，编码的主要目的有两个，以提高有效性和可靠性。 2、离散无记忆信息源存在残差度的原因是分布不均。 3、当信息源的符号不相关且均匀分布时，信息源熵为最大值。 八进制源的最大熵为 ，最小熵为 。 4、无失真信源编码平均码长的最小理论极限是信源熵（或H(S)/logr=Hr(S)）。 5. 事件发生的概率为0.125，则自相关量为。 6、根据源输出的随机序列中的随机变量之间是否存在统计相关性，可以将源分为记忆源和无记忆源。 7、噪声瞬时值的概率密度函数服从高斯分布，功率谱密度均匀分布的噪声称为高斯白噪声。 8、当R=C或（通道残差度为0）时，源与通道匹配。 9、如果连续源输出信号的平均功率为，则输出信号幅度的概率密度为高斯分布或正态分布，或者当源具有最大熵时，其值为value。 9. 选择在下面的空格中填写数学符号“”或“” (2) 假设通道输入用X表示，通道输出用Y表示。在有噪声的无损通道中，H( X/Y)=0，H(Y/X)>0，I(X；Y)=H(X)。 2.（6分）如果连续源输出的幅值被限制在[1,3]区域，当输出信号的概率密度均匀分布时，计算源的相对熵，并解释绝对熵源的熵是什么？

解：源的相对熵：绝对熵为3。 (16分) 已知来源 (1) 使用哈夫曼编码方法编译二进制变长码； （4分） （2）计算平均码长； （4分） （3）计算编码信息率； （4分） （4）计算编码后的信息传输速率； （2分） （5）计算编码效率。 （2分）解：（1）哈夫曼编码后的二进制变长码：S1：10，S2：00，S3：00，S4：110，S5：111，（2）平均码长：I=0.35*3+ 0.65*2=2.35个码元/符号； (3)编码信息率：=*logr=2.35*1=2.35比特/源符号 (4)编码信息传输率： (5)编码效率：==98% IV． (12 分) 给定一个平均功率有限的连续信号通过一个带宽的高斯白噪声信道，尝试计算 (1) 如果信噪比为 10，信道容量是多少？ （4分） （2）如果信道容量不变，信噪比降低到5，则信道带宽是多少？ (4 分) (3) 如果信道频带减小到 ，保持相同的信道容量，信道上信号与噪声的平均功率比应为多少？ （4分） 解： （1）根据香农公式： （2）时，则（3）时带宽减小到，=1205。 (16 分) 某个信息源发出的符号的概率为： EMBED .DSMT4 假设该信息源发出的符号前后相关，其依赖关系为： (5) 画出状态转移图 ( 4分） （6）计算稳态概率（4分） （7）计算信息源的极限熵（4分） （8）计算H1、H2及其对应的稳态残差度。

（4分）解：（1）（2）由（3）源的极限熵：6.（8分）同时抛掷两只正常股票，即两边的概率相同，计算(1)事件“3和4同时出现”的自信息量； （2分） （2）两点中至少有一点的自信息为1； （2分） （3）两点之和为3个自信息； (2 分) (4) 两点的各种组合（无序对）的熵。 （2分）解：（1）P（3和4同时出现）=（2）P（1,1或1,j或i,1）=（3）P（1,2或2,1） = (4 ) 相同点出现的概率为，不同点出现的概率为，总共6种组合，总共15种组合的熵为：事件7。（22点）假设事件7的概率空间离散无记忆源，通过二元对称通道， 概率传递矩阵为，通道输出处接受的符号集为 (1) 计算源熵（4点） (2) 损失熵； (4分) (3)噪声熵； （4分） （4）接收消息Y后得到的平均互信息（4分） （5）信道的信道容量（4分） （6）解释当信道达到信道容量时的输入概率分布。 (2 分) 解 (1).................vsd�S1 0.25S2 0.2S3 0.2S4 0.2S5 0..00.40..613/4a22/3a33/.... .vsd �S1 0.25S2 0.2S3 0.2S4 0.2S5 0.1501.00.40........................