彭代渊王玲-信息论与编码理论-第三章习题解答.pdf
《彭代渊王玲-信息论与编码理论-第三章习题解答.pdf》由会员分享,可在线阅读,更多相关《彭代渊王玲-信息论与编码理论-第三章习题解答.pdf(11页珍藏版)》请在三一文库上搜索。
1、信息论与编码理论 1 第第 3 章章 信道容量信道容量 3-1 设二进制对称信道的转移概率矩阵为 2/31/3 1/32/3 解: (1) 若 12 ( )3/4, ()1/4P aP a,求(),( ),(|),(|)H XH YH X YH Y X和 (; )I X Y。 ii 2 i=1 3311 H(X)=p(a )log p(a )log( )log( )0.8113(/) 4444 bit 符号 1111212 2121222 2 jj j=1 32117 p(b )=p(a )p(b |a )+p(a )p(b |a )= 434312 31125 p(b )=p(a )p(b
2、|a )+p(a )p(b |a )= 434312 7755 H(Y)=p(b )log(b )=log()log()0.9799(/) 12121212 bit 符号 22 ijjijiji , H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a ) 2211 log( )log( )0.9183(/) 3333 i jj bit 符号 I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit符号 H(X|Y)=H(X)I(X;Y)=0.8113 0.06160.7497(/bit符号) (2)求该信道的信道容量及其达到信道容
3、量时的输入概率分布。 二进制对称信息的信道容量 H(P)=-plog(p)-(1-p)log(1-p) 1122 C=1-H(P)=1+ log( )+ log( )=0.0817(bit/) 3333 符 BSC 信道达到信道容量时,输入为等概率分布,即:0.5,0.5 注意单位 3-2 求下列三个信道的信道容量及其最佳的输入概率分布。 第第 3 章章 信道信道容量容量 2 1 b 2 b 3 b 3 a 2 a 1 a YX 1 b 2 b 3 a 2 a 1 a YX 1 b 2 b 2 a 1 a YX 3 b 1 1 1 1 1 11 0.7 0.3 第一种:无噪无损信道,其概率转移
4、矩阵为: 1 0 0 P= 0 1 0 0 0 1 信道容量: () max (; ) P X CI X Y bit/符号 ( )( ) ( )( ) max (; )max()(|) (|)0 max (; )max() p xp x p xp x CI X YH XH X Y H X Y CI X YH X 离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量, C=log3=1.5850 bit/符号 输入最佳概率分布如下: 1 1 1 , 3 3 3 第二种:无噪有损信道,其概率转移矩阵为: 1 0 P= 0 1 0 1 ,离散输入信道, ( )( ) ( )( ) max
5、(; )max( )( |) ( |)0 max (; )max( ) p xp x p xp x CI X YH YH Y X H Y X CI X YH Y H(Y)输出为等概率分布时可达到最大值,此值就是信道容量 此时最佳输入概率: 123 p(a )+p(a )=0.5,p(a )=0.5 信道容量:C=log(2)=1 bit/符号 第三种:有噪无损信道,由图可知: ( )( ) ( )( ) max (; )max()(|) (|)0 max (; )max() p xp x p xp x CI X YH XH X Y H X Y CI X YH X 输入为等概率分布时可达到信道容
6、量,此时信道容量 信息论与编码理论 3 p(x) C=maxH(X)=log(2)=1 bit/符号 输入最佳概率分布: 1 1 , 2 2 3-3 设 4 元删除信道的输入量1,2,3,4X ,输出量1,2,3,4, YE,转移 概率为 (|)1 (|) 1- 0 0 0 0 1- 0 0 P= 0 0 1- 0 0 0 0 1- 1- 0 0 0 0 1- 0 0 p1= p2= 0 0 1- 0 0 0 0 1- P Yi Xi P YE Xi 其中1,2,3,4i 1)该信道是对称 DMC 信道吗? 2)计算该信道的信道容量; 3)比较该信道与两个独立并联的二元删除信道的信道容量。 (
7、1)本通信过程的转移概率分布如下所示: 1- 0 0 0 0 1- 0 0 P= 0 0 1- 0 0 0 0 1- 可以分解为两个矩阵: 1- 0 0 0 0 1- 0 0 p1= p2= 0 0 1- 0 0 0 0 1- 可以看出该信道不是对称 DMC 信道,它是准对称 DMC 信道。 (2)该信道的信道容量为: (直接套用准对称信道计算公式) 2 log(|)log(|)log log (4)(1, )(1)log(1)log(4 ) 2(1)log(1)log( )(1)log(1)log(4 ) 1 2log( )22 (/) 4 jkjkss js Cnp bap baNM H
8、bit 符号 (3)两个独立并联的二元删除信道其转移概率如下: 1- 0 0 1- 可以写成: 1- 0 0 1- 与的形式 第第 3 章章 信道信道容量容量 4 独立并联的二元信道的信道容量为两个信道容量的和。 其信道容量为:1(1-, )(1-)log(1-)log(2)=1-CH bit/符号 两个独立并联和删除信道的信道容量=2C=22 bit/符号 本信道的信道容量与两个并联删除信道信道容量相等。 3-4 设 BSC 信道的转移概率矩阵为 11 22 1 1 Q 1)写出信息熵( )H Y和条件熵( |)H Y X的关于 1 ( )H和 2 ()H表达式,其中 ( )log(1)lo
9、g(1)H。 2)根据( )H的变化曲线,定性分析信道的容道容量,并说明当 12 的 信道容量。 解: (1)设输入信号的概率颁布是p,1-p 1111212 12 ( )()(|)()(|) (1)(1) p bp ap b ap ap b a pp 2121222 12 ()( )(|)()(|) (1) (1) p bp ap bap ap ba pp 1122 1212 1212 12 ( )( )log( )()log() (1)(1)log(1)(1) (1) (1)log(1) (1) (1)(1) H Yp bp bp bp b pppp pppp H pp 2 ,1 111
10、2222 12 ( |)( ) (|)log(|) (1)log(1)1log( ) (1)(1)log(1)log() ( )(1)() ijiji i j H Y Xp a p bap ba p p p HpH (2)( )H 的变化曲线,是一个上凸函数,当输入等概率分布时达到信道 容量。 信息论与编码理论 5 ( )( ) 1212 ( ) max (; )max( )( |) max (1)(1)( )(1)() p xp x p x CI X YH YH Y X H pppHpH 由于函数 H()是一个凸函数,有一个性质: 1212 (1)()(1)()fff 可知:C 假设 12
11、时此信道是一个二元对称信道,转移概率分布为: 1 1 Q 信道容量: 12 1- log-(1- )log(1- ) 1-( ) C H 3-5 求下列两个信道的容量,并加以比较。 1-p-p-2 p-1-p-2 120 102 pp pp 第一个:可以写成: 1-p- p- p- 1-p- 与 2 2 1 1(1-p-,p-,2)(1 2)log(1 2)2log(4)CH bit/符号 第二个: 120 102 pp pp 1-p- p- p- 1-p- 与 2 0 0 2 两个对称形式 21(1-p-,p-,2,0)(1 2)log(1 2)2log(2)CH bit/符号 1220CC
12、 所以:信道一的信道容量大于信道二的信道容量,信道容量的不增性。 3-6 设信道前向转移概率矩阵为 100 01 01 Qpp pp 1)求信道容量和最佳输入概率分布的一般表达式; 2) 当0p 和1/2p 时, 信道容量分别为多少?并针对计算结果做出说明。 (1)此信道为非对称信道,设输入概率分布为: 123123 p ,p , p p +p + p1 输出概率分布为: 123123 q ,q , q q +q + q1 11111212313 1231 22121222323 12323 331 max(; )max( )(|) ( )()(|)()(|)()(|) 100 ()()(|)
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 彭代渊王玲 信息论 编码 理论 第三 习题 解答
链接地址:https://www.31doc.com/p-5729292.html