信息论基础联合信源信道编码定理.ppt

1,4.5 联合信源信道编码定理,定理的提出 联合信源信道编码定理 两步编码与一步编码,2,4.5 联合信源信道编码定理,定理的提出 联合信源信道编码定理 两步编码与一步编码,3,定理的提出,通信的实质是信息的传输 ！,4,将信源信息通过信道传送给信宿怎样才能既 做到尽可能不失真而又快速呢?,定理的提出,需要解决两个问题： 在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率；,在信道受干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大.,5,香农第一定理：要进行无失真数据压缩，必 须 RH；,定理的提出,6,香农第二定理：要在信道中可靠地传输数 据，必须 CR；,定理的提出,7,香农第一定理：要进行无失真数据压缩，必 须 RH； 香农第二定理：要在信道中可靠地传输数 据，必须 CR； 问题：若信源通过信道传输，要做到有效且 可靠地传输，是否必须有CH ?,定理的提出,两步编码,8,定理的提出,一步编码方案！,9,4.5 联合信源信道编码定理,定理的提出 联合信源信道编码定理 两步编码与一步编码,10,联合信源信道编码定理,设U1、U2、是取值于有限字母表的无记忆信源，有熵率H(); ,Q(y|x),为无记忆信道，有信道容量C. （a）若H(U)0，存在复(联) 合信源 信道码( f, g)使Pe(n)C ，则Pe(n)0.,11,证明：,弱典型序列的性质,联合信源信道编码定理,12,13,熵率的定义,熵、条件熵与互信息的关系,法诺不等式,信道容量的定义,14,定理表明使用一步编码方案可以使通信的误差概率任意小. 对于同一个通信系统，现在有两种数据处理方案.,说明,15,4.5 联合信源信道编码定理,定理的提出 联合信源信道编码定理 两步编码与一步编码,16,两步编码与一步编码,用尽可能少的信道符号来表达信源，以减少编码后的数据的剩余度.,17,两步编码与一步编码,对信源编码后的数据适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰.,18,两步编码与一步编码,思考: 在有噪信道中，当HC时，用两步编码与一步 编码的处理方法传输信源信息均可使得误差概 率任意小. 对于给定的通信系统进行编码时，应该倾向于 那种编码方案？,19,两步编码与一步编码,近代大多数通信系统都是数字通信系统. 实际数字通信系统中，信道多是共同公用的二元数字信道. 将语音、图像等首先数字化，再对数字化的信源进行不同的信源编码 针对各自信源的不同特点，用最有效的二元码进行数据压缩；,20,两步编码与一步编码,信道输入端只是一系列二元码 信道编码只需针对信道特性进行，不用考虑信源的特性； 以纠正信道带来的错误，做到有效又可 靠地传输信息. 大大降低通信系统设计的复杂度！,21,两步编码与一步编码,经典的无线通信系统是将信源编码和信道编码分别进行的。信源编码主要考虑信源的统计特性，信道编码主要考虑信道的统计特性。 优点是设计简单、通用性好，可以分别形成标准。 缺点是没有充分利用各自的优势，因而不是最佳的。 无线系统的信源编码由于压缩比很高，对差错十分敏感；而信道编码面临十分恶劣的传播环境，但提供的带宽冗余度很小。 在这种背景下，需要将信源编码和信道编码综合考虑。这就是联合编码的基本思路。 在无线多媒体通信中，联合编码是抗衰落的一种十分有效的措施。,22,两步编码与一步编码,国内主要研究方向（以博士毕业论文为例）： 基于Turbo码的联合信源信道编译码方法研究 中国科学院研究生院（2008） 误码环境下的视频信源信道编码理论与技术研究 无线信道中的联合信源信道编码研究 西安电子科技大学（2006） 信源信道联合解码算法研究及其在语音传输中的应用 东南大学 （2005） 无线图像传输中的联合信源信道编码研究 上海交通大学 （2007） 实现复杂度控制的信源信道联合编码研究 华中科技大学 （2005）,1993年法国教授Berrou、Glavieux 和其缅甸籍博士生Thitimajshima 在ICC 会议提出； 全球3G标准：WCDMA、TD-SCDMA和CDMA2000均使用了Turbo码,23,4.5 联合信源信道编码定理,定理的提出 联合信源信道编码定理 两步编码与一步编码,24,展望,提高信息传输的可靠性和有效性，始终是通信工作所追求的目标； 近几节课掌握的几个编码定理，已经明确指出在一定条件下总存在简单、有效编、译的“好码”. 但是，都没有给出这类好码的编、译方法.,25,4.6 线性分组码,基础知识 线性分组码的基本概念 线性分组码的译码 汉明码的编码与译码,26,基础知识 线性分组码的基本概念 线性分组码的译码 汉明码的编码与译码,4.6 线性分组码,27,4.6 线性分组码,基础知识 抽象代数基础 线性代数基础,28,4.6 线性分组码,基础知识 抽象代数基础 线性代数基础,29,一、 群 定义 设G是非空集合，并在G内定义了一种代数运算， 若满足： (1) 封闭性：对任意a、bG，恒有a °bG； (2) 结合律：对任意a、bG，有(a °b) °c=a °(b °c)； (3) 存在单位元e：对任意aG，有eG，使a° e=e °a=a； (4) 对任意aG，存在有a的逆元a-1G，使a°a-1=a-1°a=e则称G构成一个群.,30,定义中，G的运算“°”可以是通常的乘法或加法： 若为乘法，则单位元记为1； 若为加法，则单位元记为0；a的逆元记为-a. 群中元素的个数，称为群的阶： 若群中元素个数有限， 称为有限群； 否则，称无限群. 若G的运算“°”满足交换律，称G为Abel群.,31,例G1：整数全体，按通常加法构成群，这是一个无限群. 例G2：二元集0,1，对其上定义的模2加法,构成一个群.,32,二、 域 域在编码理论中起着关键作用； 域是定义了两种代数运算的系统. 定义 非空元素集合F，若在F中定义了加和乘两种运算， 且满足下述公理：,33,(1)F关于加法构成阿贝尔群，其加法单位元 记为 0； (2)F中非零元素全体对乘法构成阿贝尔群. 其乘法单位元记为1； (3) 满足分配律： a(b+c)=ab+ac (b+c)a=ba+ca 则称F是一个域.,34,例F1 实数全体对加法、 乘法构成域， 称为实数域. 例F2 0、 1 两个元素按模2加和模 2 乘构 成域. 该域中只有两个元素， 记为GF(2).,有限域,35,4.6 线性分组码,基础知识 抽象代数基础 线性代数基础,36,一、 线性空间 定义 如果域F上的n重元素集合V满足下述条 件时： (1) V关于加法构成阿贝尔群； (2)对V中任何元素v和F中任何元素c， cvV. 称V中元素v为矢量(向量)， F中元素c为纯量或标量， 称乘c运算为数乘；,37,(3) 分配律成立， 对任何u， vV， c， dF恒有： c(u+v)=cu+cv (c+d)v=cv+dv (4)若c， dF ， vV， 有： (cd)v=c(dv)，1·v=v，1F 则称V是域F上的一个n维线性空间或矢量 空间， 一般用VFn表示.,38,例L1 实数域R上的n重数组全体： (x1，x2， xn)；xiR组成一线性空间VRn. 例L2 GF(2)上的n重数组全体： xn=(x1，x2， xn)；xiGF(2)是一线性空间GF(2)n.,n维向量空间,39,定义 设x1，x2，xk是线性空间V中的 一组非全零向量，当且仅当存在有一组不 全为零的数 c1， c2， ， ck(ciF；i=1， 2， ， k)使 c1x1+c2x2+ckxk=0 成立时， 则称这组向量线性相关；否则， 称这组向量线性无关.,40,定义 线性空间V中的每一向量，如果可以由其中的一组向量集S中的向量线性组合生成， 则说S生成了向量空间V.,41,定义 在任何线性空间中， 能张成该空间的线性独立向量的集合称为该线性空间的基；而称这组线性独立向量的数目为该线性空间的维数. 定理： 如果V是k维线性空间，则V中任意k个线性独立的向量是V的基.,42,二、 矩阵 在今后学习的纠错编码理论中， 矩阵内的第i行第j列元素aij一般取自域F(2)上， 今后我们仅讨论域F(2)上的矩阵：,43,例 在GF(2)上的两个方阵相乘， 例如,44,分块矩阵概念： 如果把矩阵的每一行(或每一列)看成一个 n(或m)维数组， 或者行(列)矢量， 则可把 一个m×n阶矩阵aij 表示如下：,45,4.6 线性分组码,基础知识 抽象代数基础 线性代数基础,46,4.6 线性分组码,基础知识 线性分组码的基本概念 线性分组码的译码 汉明码的编码与译码,