信息论与编码信道及其容量.ppt
《信息论与编码信道及其容量.ppt》由会员分享,可在线阅读,更多相关《信息论与编码信道及其容量.ppt(85页珍藏版)》请在三一文库上搜索。
1、第3章 信道及其容量,信道的数学模型及分类 信道疑义度与平均互信息 信息传输率与信道容量 离散单个符号信道的信道容量 离散无记忆序列信道的信道容量 串联信道和并联信道的信道容量 连续信道及其容量 信源与信道的匹配 信道编码定理简介,学习得来终觉浅,绝知此事要自悟,3.1 信道的数学模型与分类,信道的分类 信道的数学模型与参数,信道的分类,输入输出随机信号的特点:离散信道、连续信道和半离散/半连续信道; 输入输出随机变量个数的多少:单符号信道、多符号信道; 信道用户的多少(输入输出个数):单用户信道、多用户信道; 输入端和输出端的关联:无反馈信道、有反馈信道;,信道的分类,信道参数与时间的关系:
2、固定参数(恒参、平稳)信道和时变参数(随参、非平稳,time-varying)信道; 信道上有无干扰:有干扰信道、无干扰信道; 信道有无记忆特性:有记忆信道、无记忆信道; 还可以根据载荷消息的介质和信号的形式不同进行分类。,c1段,信号一般是连续的,所以该段为连续信道,调制信道 c2为离散信道,编码信道; c3为半离散、半连续信道; c4为半连续、半离散信道。,通信系统中广义信道的分类,调制信道; 编码信道。,信道的基本特征包括输入、输出以及输入和输出之间的关系。 假设输入矢量为 =(x1, x2, , xN),输入的矢量分量选择于符号集 A=a1, a2, , ar,输出矢量 =(y1, y
3、2, , yN),输出的矢量分量选择于符号集 B=b1, b2, , bs,信道的数学模型与参数,无干扰(无噪)信道,由于没有噪声,所以输入可以决定输出,即存在确定的函数f,Y=f(X)。,单符号离散信道,输入单符号变量X,取自符号集 A=a1, a2, , ar; 输出单符号变量Y,取自符号集 B=b1, b2, , bs; 由于信道的干扰使输入符号x在传输中发生错误,这种错误是随机发生的,所以可以用条件概率(转移概率)来表示噪声的干扰:p(y|x)= P(y=bj|x=ai)=p(bj|ai);,单个符号的离散信道的转移概率通常用信道转移概率矩阵表示: 一般为了简化,记pij= p(bj|
4、ai),则信道转移概率矩阵可以表示为,二元对称信道(BSC),有干扰无记忆离散信道,信道无记忆指的是输出只与当前输入有关,而与非该时刻的输入信号、输出信号都无关。 有干扰无记忆信道有以下性质: 离散无记忆信道 ( DMC),有干扰有记忆离散信道,在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关,而且还与此以前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。由于有记忆信道的转移概率计算涉及到太多的参数,因此对它的分析和计算更加复杂。提倡采用两种方法进行简化处理: 1)将记忆性较强的N个符号当作一个N维矢量进行整体的处理,而各个矢量之间当作无记忆的。 2)把信源序列的转
5、移概率当作马尔可夫链的形式,即假设信道为有限记忆的。以上方法都是进行了简化和近似处理,会带来一定误差。,离散输入连续输出信道,离散时间无记忆信道中最重要的一种是加性高斯白噪声(AWGN)信道。,波形信道,信道转移概率密度函数为 根据多维连续信道的转移概率密度函数是否满足独立性条件 将其分为连续有记忆信道和连续无记忆信道。,一般在这种信道中,噪声和信号通常相互独立,所以,3.2 信道疑义度与平均互信息,疑义度和平均互信息量是研究信道的重要参数,相关的分析和性质参见第二章,在此不赘述。,3.3 信息传输率与信道容量,信道的输入X x1,x2,xi,xn,输出 Y y1,y2,yj,ym 将信道中平
6、均每个符号所能传送的信息量定义为信道的信息传输率R,它的值就是平均互信息量,即 R=I(X;Y)= H(X)-H(X|Y) bit/符号,信道容量C(Channel capacity):在信道中最大的信息传输速率,单位是比特/信道符号 单位时间的信道容量Ct:若信道平均传输一个符号需要t秒钟,则单位时间的信道容量为:,3.4 离散单个符号信道的信道容量,3.4.1 特殊离散信道 3.4.2 对称DMC信道 3.4.3 准对称DMC信道 3.4.4* 具有可逆矩阵信道 3.4.5* 一般DMC信道,3.4.1 特殊离散信道,1具有一一对应关系的无噪信道,2具有扩展性能的离散有噪声信道,3具有归并
7、性能的无噪信道,4输入输出独立信道 (全损信道 ) H(X|Y) = H(X),H(Y|X) = H(Y) I(X;Y) = H(X)H(X|Y),所以 I(X;Y) = 0, 信道的输入和输出没有依赖关系,信息无法传输,信道容量为0,称为全损信道。,3.4.2 对称DMC信道,以下两个转移概率矩阵即为对称信道,则条件熵,显然这个值与信道输入符号的概率分布p(ai)无关,在信道的转移概率确定的情况下,这个值是一个确定值,所以信道容量为 当Y是等概率分布的时候,其熵取最大值,即只要X的某一概率分布使得收到的符号Y是等概率,则,例3-2 已知P矩阵,求C。解:,对称信道有如下定理: 定理3-1 对
8、于单个消息离散对称信道,当且仅当信道输入输出均为等概率分布时,信道达到容量值。,例3-3 求信道容量,二进制对称信道的C值:,例3-4 设有两个离散BSC信道串接,两个BSC信道的转移矩阵如下,求信道容量。 所以有 I(X;Y)=1-H(),I(X;Z)=1-H2 (1-),与I的关系,3.4.3 准对称DMC信道,准对称DMC信道是对称信道的推广,例如:,准对称DMC信道的容量 它的信道容量直接求解较为复杂。有以下定理可以有助于求解信道容量。 定理3-2当输入分布为等概分布时,互信息达到最大值,所以对于单消息,离散,准对称信道,当且仅当信道输入为等概率分布时,信道达容量值。,例3-5 求信道
9、容量。 解:信道的输入符号有两个,可设p(a1),p(a2)1,信道的输出符号有三个,用b1、b2、b3表示,方法二 当p(a1)p(a2)1/2时,p(b1)p(b2)(1-0.2)/20.4 C=H(Y)-H(Y/X)=0.036bit/符号,方法三 可以证明,如果将转移概率矩阵划分成若干个互不相交的对称的子集,则信道容量,例3-6求信道容量,3.4.4* 具有可逆矩阵信道,这类信道由于要求信道转移矩阵的逆存在,它必然要求信道输入输出具有相同数量的元素。即nm,P为方阵,且为正则方阵。 具有可逆矩阵信道的信道容量为,3.4.5* 一般DMC信道,为使I (X;Y)最大化以便求取DMC容量,
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 信道 及其 容量
![提示](https://www.31doc.com/images/bang_tan.gif)
链接地址:https://www.31doc.com/p-2844386.html