CS计算机代考程序代写第5章　信源编码

第5章　信源编码

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著
*

第4章　信息率失真函数

信源无失真传输所需的最小信息率为RH(X)；
允许信源有失真时，输出的最小速率可降低为R< H(X)；失真D越大，R可以越小，因此R是D的函数，且为单调递减函数。 R(D)就叫做信息率失真函数。问题信源熵H(X)的物理含义是什么？为什么要研究信源熵？普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1 信息率失真函数的概念和性质 4.1.1 失真函数和平均失真 4.1.2 信息率失真函数R(D) 4.1.3 信息率失真函数的性质 4.1.4 R(D)与C 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1 信息率失真函数的概念和性质在实际问题中，信号有一定的失真是可以容忍的。但是当失真大于某一限度后，信息质量将被严重损伤，甚至丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1.1 失真函数和平均失真 X={xi}，xi{a1,…an} 信源编码器 Y={yj}，yj{b1,…bm} 失真函数d(xi，yj) 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 失真矩阵单个符号的失真度的全体构成的矩阵，称为失真矩阵普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 均方失真：相对失真：误码失真：绝对失真：前三种失真函数适用于连续信源，后一种适用于离散信源。最常用的失真函数普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 序列编码情况失真函数定义为：其中d(xil，yjl)是信源输出L长符号样值xi中的第l个符号xil时，编码输出L长符号样值yj中的第l个符号yjl的失真函数。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 失真函数的数学期望称为平均失真，记为已知p(xi)和d(xi，yj)，平均失真只是符号转移概率p(yj/xi)的函数。 p(yj/xi )在此实质上代表编码方式。信源编码器普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 如： x1y1 x2 y2 x1y1 x2 y1 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 对于连续随机变量同样可以定义平均失真对于L长序列编码情况，平均失真为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1.2 信息率失真函数R(D) 信源编码器的目的是使编码后所需的信息传输率R尽量小， R 给定失真的限制值D，使  D，找最小R， R(D)，定义为信息率失真函数。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1.3 信息率失真函数R(D) X Y 假想信道将信源编码器看作信道，信源编码器输出的信息率R对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。 p(yj/xi) 信源符号编码概率信道转移概率信源编码器普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * D允许试验信道若p(xi)和d(xi，yj)已定，则可给出满足条件的所有转移概率分布pij，它们构成了一个信道集合PD 称为D允许试验信道。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 信息率失真函数R(D) 当p(xi)一定时，互信息I是关于p(yj/xi) 的U型凸函数，存在极小值(2.2节）。在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。 D=? p(yj/xi)=pij? R(D)=? I [p(xi)， p(yj/xi)] 普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 对于离散无记忆信源，R(D)函数可写成 p(ai)，i＝1，2，…，n 是信源符号概率分布； p(bj/ai)，i＝1，2，…，n，j＝1，2，…，m 是转移概率分布； p(bj)，j＝1，2，…，m 是接收端收到符号概率分布。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * R(D)的物理意义无失真时：R=H(X) 有失真时：R=R(D)=H(X)－H(X/Y)H(X) H(X/Y)：由于压缩编码损失的信息对于给定信源，在平均失真不超过失真限度D的条件下，信息率容许压缩的最小值R(D) H(X) R 信源编码器普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 例 4-2 设信源的符号表为A＝{a1，a2，…，a2n}，概率分布为p(ai)＝1/2n，i＝1，2，…，2n，失真函数规定为即符号不发生差错时失真为0，一旦出错，失真为1，试研究在一定编码条件下信息压缩的程度。 H(X) H(X/Y) 可压缩的信息量普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 4.1.3 信息率失真函数的性质 R(D)函数的定义域 ⑴ Dmin和R(Dmin) Dmin＝0 对于连续信源普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 讨论何时Dmin=0? 只有当失真矩阵中每行至少有一个零元素。何时R(0)=H(X)? 只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零。否则R(0)可以小于H(X)，表示这时信源符号集中有些符号可以压缩、合并而不带来任何失真。普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * (2) Dmax和R(Dmax) R(Dmax)=0 选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即因此可以得到R(D)的定义域为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 Dmax=? R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即需满足条件从上式观察可得：在j=1，…，m中，可找到值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 例4-3 设输入输出符号表为X＝Y{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 解：当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3，2/3)＝0.91比特/符号，这时信源编码器无失真，所以该编码器的转移概率为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 * 当R(Dmax)＝0时此时输出符号概率p(b1)＝0，p(b2)＝1，所以这时的编码器的转移概率为普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著 2. R(D)的下凸性证明思路: 设 D= D1+(1- )D2, (0    1) 再证: R(D1+(1- )D2)  R(D1)+(1- )R(D2) 3. R(D)的单调递减性和连续性若D>D’,PD  PD’
(选择pji的范围大)

(连续性证明从略)

普通高等教育“十五”国家级规划教材《信息论与编码》曹雪虹等编著
*
综上所述，可以得出如下结论：
R(D)是非负的实数，即R(D)  0。其定义域为0～Dmax，其值为0～H(X)。当D>Dmax时， R(D)  0。
R(D)是关于D的下凸函数，因而也是关于D的连续函数。
R(D)是关于D的严格递减函数。容许的D越大，所要求的R越小。反之亦然。