[信息与通信]陈伟建-信息论基础-第2章 熵与互信息.ppt
2019/1/30,第2章 熵与互信息,信息如何度量？,2019/1/30,2.1 熵,信源发出的消息为单一符号，而这些符号随机地取值于一个有限集合,1、单符号离散信源,定义,表示,离散型随机变量X,2019/1/30,随机变量X的取值xi为信源发出的消息 i=1,2,N,2019/1/30,例1,例2,2019/1/30,2、自信息量,消息xi的概率P(xi)对数的负值，也叫无条件自信息量，用I(xi)表示,定义,表示,单位由对数的底a决定当a=2时为bit(binary unit)，a=e时为nat(nature unit)，a=10时为Hart(Hartley),2019/1/30,以bit为单位的自信息量,I(xi)与xi的概率P(xi)相关 I(xi)是P(xi)的减函数，且当P(xi) =0时I(xi) ，P(xi) =1时I(xi) =0 I(xi)是P(xi)的连续函数,2019/1/30,例3,信源发出各消息的自信息量,2019/1/30,3、熵,信源各消息自信息量的数学期望，也叫无条件熵，用H(X)表示,定义,表示,单位一般为bit或bit/symbol,2019/1/30,H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量 一般情况下，H(X)不等于每接受一条消息所获得的平均信息量,2019/1/30,4、熵的主要性质和最大熵定理,非负性,严格上凸性,2019/1/30,严格上凸性的描述设函数f(x)对任一小于1的正数及定义域中任意两个值x1、x2，如果,称函数f(x)为严格上凸函数,2019/1/30,2019/1/30,2019/1/30,2019/1/30,最大熵定理,等概率信源具有最大熵，最大熵H(X)max=logn,2019/1/30,2019/1/30,例4,信源的信息熵,2019/1/30,例5,信源的信息熵,2019/1/30,例6,信源的信息熵及p-H(p)曲线,当p=0时，H(p)=0,p=0.25时，H(p)=0.811(bit),2019/1/30,p=0.75时，H(p)=0.811(bit),p=1时，H(p)=0,p=0. 5时，H(p)=1(bit),2019/1/30,2.2 联合熵与条件熵,信源发出的消息为有限或可数的符号序列，而符号序列中任何时刻的符号都随机地取值于同一个有限集合,1、多符号离散信源,定义,表示,离散型随机过程X1X2Xn,2019/1/30,2019/1/30,例1,2019/1/30,2、自信息量,消息xi1xi2xin的概率P(xi1xi2xin)对数的负值，也叫联合自信息量，用I(xi1xi2xin)表示,定义,表示,2019/1/30,定义,条件概率P(xin/xi1xin-1)对数的负值，用I(xin/xi1xin-1)表示,条件自信息量,表示,2019/1/30,自信息量的链式法则,定理,2019/1/30,例2,信源发出消息x1x1和x3x2各自的自信息量,2019/1/30,3、联合熵,信源各消息自信息量的数学期望，也叫联合熵，用H(X1X2Xn)表示,定义,表示,2019/1/30,2019/1/30,2019/1/30,信息熵的链式法则,定理,2019/1/30,2019/1/30,2019/1/30,2019/1/30,信息熵的界,2019/1/30,例3,信源的信息熵,2019/1/30,2019/1/30,2019/1/30,2019/1/30,2019/1/30,4、熵率,信源每发出一个消息符号所提供的平均信息量，也叫平均符号熵，用HN(X1X2XN)表示,定义,表示,单位一般为bit/symbol,2019/1/30,例4,信源的熵率,
