第一章 无失真信源与信息熵
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
第2章 信源与信息熵
信源的分类及数学模型
离散信源熵和互信息
离散序列信源的熵
连续信源的熵和互信息
信源的冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.1信源的分类及数学模型
从信息论层面来看,信源输出消息, 消息载荷信息
信源发送的消息虽是具体的,但却是随机的、不确定的,因此不去考虑信源的内部结构和发送消息的不同形式，而是从信源的随机属性和概率统计特性考虑建立信源的数学模型。
从数学上，分别用随机变量、随机序列（矢量）和随机过程来分别描述信源产生的消息（符号）、消息序列和连续消息；
*
普通高等教育“十五”国家级规划教材《信息论与编码》
分类
时间 离散 连续
幅度 离散 连续
记忆 有 无
三大类：
单符号离散信源
符号序列信源（有记忆和无记忆）
连续信源
2.1信源的分类及数学模型
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.1信源的分类及数学模型
描述：通过概率空间描述
（1）单符号信源
离散信源：
，显然有p(xi)0，
例如：对二进制数字与数据信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信源
显然应满足pX(x) 0，
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.1信源的分类及数学模型
（2）离散序列信源
联合概率：
无记忆信源
离散无记忆序列信源
布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。
若先取出一个球，记下颜色放回布袋，再取第二个球。
2.1信源的分类及数学模型
以3位PCM信源为例（无记忆）
当
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
独立同分布信源
在离散无记忆信源中，信源输出的每个符号是统计独立的，且具有相同的概率空间，即有
p1(X1)=p(X1)=p(Xi),
则该信源是离散平稳无记忆信源，亦称为独立同分布(independently identical distribution，i.i.d.)
信源。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
当信源输出的随机矢量中各个分量之间不相互独立而可以是任意相关的,则称此类信源为有记忆信源。
布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。
若先取出一个球，记下颜色不放回布袋，再取第二个球。
离散有记忆序列信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
（3）连续信源
连续平稳信源
——时间离散，幅度连续
随机波形信源
——时间、幅度均连续
2.1信源的分类及数学模型
连续平稳信源
N维随机矢量X=(X1,X2,…,XN)，每个随机分量Xi都是取值连续的连续型随机变量，且满足随机矢量X的各维概率密度函数与时间起点无关
pX(x)=pX(x1,x2,…,xN)
（无记忆）
（i.i.d.）
随机波形信源
某时刻的取值是随机的，用随机过程{x(t)}来描述
就统计特性而言，随机过程可分为平稳随机过程和非平稳随机过程两大类，最常见的平稳随机过程为遍历过程。
一般认为，通信系统中的信号都是平稳遍历的随机过程。虽然受衰落现象干扰的无线电信号是属于非平稳随机过程，但在正常通信条件下，都可近似地当作平稳随机过程来处理。
因此一般用平稳遍历的随机过程来描述随机波形信源的输出。
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
用采样定理将波形信号转换成多维连续的信号:
时域采样：频带受限fm的时间连续函数f(t),不失真采样频率fs 2fm，若时间上受限0 t tB，采样点数为tB(1/2fm)＝2fmtB。可见，频率受限fm、时间受限tB的任何时间连续函数，完全可以由2fmtB个采样值来描述。
随机波形信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
频域采样：时间受限于tB的频域连续函数，在0～2的数字频域上要采L点的条件是时域延拓周期LT tB，若频率受限fm，则采样点数L tB/T＝tBfs 2fmtB。
但是，从理论上说任何时间受限的函数，其频谱是无限的；反之，任何频带受限的函数，其时间上是无限的。
实际中，可认为函数在频带fm、时间tB以外的取值很小，不至于引起函数的严重失真。
随机波形信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
所以，波形信号只要是时间上或频率上有限，都可通过采样变成时间上或频率上离散的连续符号序列。如果原来的随机过程是平稳的，那么采样后的随机序列也是平稳的。
一般情况下，采样得到的2fmtB个随机变量之间是线性相关的，也就是说这L＝2fmtB维连续型随机序列是有记忆的。因此随机波形信源也是一种有记忆信源。
随机波形信源
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
（4）马尔可夫信源
当信源的记忆长度为m+1时，该时刻发出的符号与前m个符号有关联性，而与更前面的符号无关。
齐次马尔可夫信源：与时间起点无关。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马尔可夫信源
由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态：
信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用符号条件概率表示p(xj/si)，状态转移概率表示为p(sj/si)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马尔可夫信源
特别关心n-m=1情况，pij(m,m+1)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马尔可夫信源
系统在任一时刻可处于状态空间的任意一状态，状态转移时，转移概率是一个矩阵， 一步转移概率矩阵为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马尔可夫信源
对于齐次马尔可夫链，一步转移概率完全决定了k步转移概率。
定义：若齐次马尔可夫链对一切i,j存在不依赖于i的极限，则称其具有遍历性，pj称为平稳分布
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马尔可夫信源
定理：设有一齐次马尔可夫链，其状态转移矩阵为P，其稳态分布为wj=p(sj)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
不可约性，对于任意一对I和j， 都存在至少一个k，使pij(k)>0.
非周期性，所有pij(n)>0的n中没有比1大的公因子。
定理：设P是某一马尔可夫链的状态转移矩阵，则该稳态分布存在的充要条件是存在一个正整数N，使矩阵PN中的所有元素均大于零。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
Eg. 一个相对编码器，求平稳分布
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
Eg. 二阶马氏链，X{0,1},求平稳分布
起始状态
00
01
10
11
1/2
0
1/4
0
1/2
0
3/4
0
0
1/3
0
1/5
0
2/3
0
4/5
S1(00)
S2(01)
S3(10)
S4(11)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
解：令各状态的稳态分布概率为W1，W2，W3，W4，可得方程组
解得稳态分布的概率为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源发出的消息是随机的，但其统计特性——概率分布是确定的。
单符号信源：离散、连续 ——单符号概率分布
离散序列信源：无、有记忆
连续信源：时间离散、连续
马尔可夫信源：—— 状态稳定概率分布
2.1信源的分类及数学模型（总结）
联合概率分布
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2离散信源熵与互信息
信息量
自信息量
联合自信息量
条件自信息量
单符号离散信源熵
符号熵
联合熵
条件熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2离散信源熵与互信息
信息
不确定性
信息的度量
随机性、概率
相互独立符合事件概率相乘、信息相加
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2.1 自信息量
直观推导信息测度
信息I应该是消息概率p的递降函数
由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2.1 自信息量
定义：对于给定的离散概率空间表示的信源，x=ai事件所对应的（自）信息量为
以2为底，单位为比特（bit)
以e为底，单位为奈特（nat) 1nat=1.433bit
以10为底，单位为笛特（det) 1det=3.322bit
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2.1 自信息量
例：发出二进制码元0和1信源，当符号概率为p(0)＝1/4，p(1)＝3/4，则这两个符号所包含的自信息量分别为：
“0”出现的概率小，因而一旦出现给予观察者的信息量就大。
普通高等教育“十五”国家级规划教材《信息论与编码》
自信息量与不确定度
自信息量：符号出现后，提供给收信者的信息量；
不确定度：符号出现前，所含有的不确定性。
二者数量上相等，物理含义不同。
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2.1 自信息量
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
自信息量的性质
p(xi)=1，I (xi)=0；
p(xi)=0，I (xi)=∞；
非负性：由于一个符号出现的概率总是在闭区间[0，1]内，所以自信息量为非负值。
单调递减性：若p(x1)< p(x2)，则I (x1)> I (x2)；
可加性：若有两个符号xi，yj同时出现，可用联合概率p(xiyj)来表示，这时的自信息量为，当xi和yj相互独立时，有p(xiyi)＝p(xi)p(yj)，那么就有I(xiyj)＝I(xi)+I(yj)。
2.2.1 自信息量
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
定义：联合概率空间中任一联合事件的联合（自）信息量为：
定义：联合概率空间中，事件x在事件y给定条件下的条件（自）信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
联合自信息、条件自信息与自信息间的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
自信息量是针对信源中某一个符号所含信息的度量，那么对于发出若干符号的信源的总体度量如何？
——符号集的平均不确定性
2.2.2 离散信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2.2 离散信源熵
例2. 一个布袋内放100个球，其中80个球为红色，20球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。
解：随机事件的概率空间为
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2.2 离散信源熵
单符号离散信源熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I的数学期望为信源的信息熵，单位为比特/符号
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信源熵H(X)表示信源输出前，信源的平均不确定性
信源熵H(X)表示信源输出后每个消息（或符号）所提供的平均信息量
信源熵H(X)可表征随机变量X的随机性：
当 ，H(X)=1 比特/符号
当 ， H(X)=2 比特/符号
H(X)是完全表示信源X所需的最少的每符号比特数，这就是研究信源信息熵的目的。
例题
例1：H(1/2,1/4,1/4)=1.5 bit/符号
例2：电视屏幕上约有500×600＝3×105个格点，按每点有10个不同的灰度等级，可组成 个不同的画面。若等概，求H(X)
H(X)=106 bit/画面
例3：二元信源的熵
p
*
普通高等教育“十五”国家级规划教材《信息论与编码》
若对信源一无所知，X的符号数、概率等
——H(X)无穷大
已知X的符号数，但不知概率，假设等概
——H(X)=log M
已知信源的概率空间，不等概率时H(X)进一步变小。
说明获得信息能使对信源的不确定度减少。
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源条件熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I（x/y)在集合X上的数学期望为给定y条件下信源的条件熵，单位为比特/序列
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
离散信源联合熵
定义：对于给定离散概率空间表示的信源所定义的随机变量I（x，y)的数学期望为集合X和集合Y的信源联合熵，单位为比特/序列
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
联合熵、条件熵与熵的关系（从数学关系式）
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
单符号离散信源熵（总结）
符号熵
条件熵
联合熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
H(X)与H(X/Y)的大小？
——已知Y使得对X信源的不确定度减少了。
H(X)－H(X/Y)=?
——减少量是：已知Y获得的关于X的信息量。
该信息量定义为互信息I(X;Y)。
H(X)－H(X/Y)= I(X;Y)= I(Y;X)=H(Y)－H(Y/X)
互信息表示了X与Y相关联的程度。
H(XY)=H(X)+H(Y/X)=H(X)+H(Y)－I(X;Y)
2.2.3 互信息
普通高等教育“十五”国家级规划教材《信息论与编码》
I(X;Y)= H(X)-H(X/Y）
I(X;Y)= H(Y)-H(Y/X)
I(X;Y)= H(X)+ H(Y)- H(XY )
平均互信息量与信源熵、条件熵的关系
H(X) I(X;Y) H(Y)
H(Y/X)噪声熵
H(X/Y)疑义度
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.2.3 互信息
平均互信息量
其中p(xi)叫做x的先验概率，p(xi/yj)叫做x的后验概率。
显然这是平均意义上的互信息量，而单个符号之间的互信息定义为符号后验概率与先验概率比值的对数。
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
单符号离散信源互信息
定义：对于给定离散概率空间表示的信源，在出现y事件后所提供有关事件x的信息量定义互信息，单位为比特
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
单符号离散信源互信息
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
平均互信息的性质
非负性
互易性
极值性
凸性函数性质
信息不增性原理
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
非负性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
互易性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
极值性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
凸性函数
当条件概率分布p(yj/xi)给定时，平均互信息量是输入概率分布p(xi)的上凸函数，存在极大值。
当集合X的概率分布p(xi)保持不变时，平均互信息量是条件概率分布p(yj/xi)的下凸函数，存在极小值。
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
定义：对于给定离散概率空间表示的信源，在事件z给定条件下，事件x与事件y之间的条件互信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
定义：对于给定离散概率空间表示的信源，在事件x与联合事件yz之间的联合互信息量为：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息不增性
2.2.4 数据处理中信息的变化
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
信息不增性
数据处理过程中只会失掉一些信息，绝不会创造出新的信息。
X 第一级 Y 第二级 Z
输入 处理器 处理器
普通高等教育“十五”国家级规划教材《信息论与编码》
定义
若p(x)和q(x)为定义在同一概率空间上的两个概率测度，定义p相对于q的相对熵或Kullback_Leibler距离为
性质
当且仅当对所有x，p(x)=q(x)时等式成立。
相对熵可以解释为两个概率测度之间的“距离”，即两概率测度不同的程度的度量。
不过，它并不是通常意义下的距离，因为相对熵不满足对称性。
2.2.5 相对熵
Jensen’s Inequality
*
普通高等教育“十五”国家级规划教材《信息论与编码》
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
由于概率不匹配，使得平均码长增加，增加量为 Kq- Kp = -pilogqi-(-pilogpi)=D(p//q)。
所以，研究相对熵的目的就是减小D，以得到更加精确的概率模型。
相对熵的解释
平均码长
信源符号 x1 x2 … xn
概率分布 p1 p2 … pn
编码方案1 -log p1 -log p2 … -log pn Kp=-pilogpi
编码方案2 -log q1 -log q2 … -log qn Kq=-pilogqi
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.2.6熵的性质
非负性
确定性
对称性
香农辅助定理
最大熵定理
条件熵小于无条件熵
扩展性
可加性
递增性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
非负性
确定性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
对称性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
香农辅助定理
最大熵定理
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
条件熵小于无条件熵
扩展性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
可加性
一般式
当X、Y相互独立时
熵的可加性可这样理解：复合事件集合的平均不确定性为各个分事件集合的平均不确定性的和。
递增性
这条性质表明，若原信源X中有一元素划分成m个元素（符号），而这m个元素的概率之和等于原元素的概率，则新信源的熵增加。熵增加了一项是由于划分而产生的不确定性量。
例 H(1/3,1/3,1/6,1/6)
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
互信息量与熵的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息的度量（总结）
自信息量I(xi)
针对信源X中的某个符号xi
信源熵H(X)
针对某个信源X
相对熵D(p//q)
针对两种概率分布p、q
互信息量I(X;Y)
针对两个信源X、Y
单符号离散信源熵
符号熵
条件熵
联合熵
总结
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.3离散序列信源的熵
离散无记忆信源的序列熵
离散有记忆信源的序列熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
单位：比特/序列
独立但非同分布
独同分布
序列熵
2.3.1离散无记忆信源的序列熵
消息熵
平均每个符号熵
单位：比特/符号
i.i.d.
*
普通高等教育“十五”国家级规划教材《信息论与编码》
例如有一个无记忆信源，X（0，1），等概率分布，
以单个符号出现为一事件，则信源熵H(X)＝1比特/符号，即用1比特就可表示该事件。
以两个符号出现（L＝2的序列）为一事件，则随机序列X(00，01，10，11)，信源的序列熵H(X)＝lb 4＝2比特/序列，即用2比特才能表示该事件。
信源的符号熵H2 (X)＝1/2H(X)＝1比特/符号。
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.3.2离散有记忆信源的序列熵
消息熵：
序列熵：
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
例2-11 离散有记忆信源
p(aj/ai)
ai aj
a1 a2 a3
a1 9/11 2/11 0
a2 1/8 3/4 1/8
a3 0 2/9 7/9
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
解：
H(X2/X1 )＝0.872比特/符号
H1 (X)＝1.543比特/符号
H(X1,X2)＝H(X1)＋H(X2/X1)
＝1.543＋0.872＝2.415比特/序列
平均符号熵H2(X)＝H(X2)＝1.21比特/符号
比较上述结果可得： H2(X)< H1 (X)，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由于符号之间存在关联性（相关性）造成的。
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
几个有用结论
结论1 是L的单调非增函数
结论2
结论3 是L的单调非增函数
结论4
推广结论3可得
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
马氏链极限熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
例2-13 求马氏链平均符号熵（三个状态）
解得：W1＝5/59，
W2＝9/59，
W3＝45/59。
马尔可夫信源的熵：
比特/符号
1/0.1
s1
1/0.5 0/0.9
0/0.5 0/0.8
s2 s3
1/0.2
三状态马尔可夫信源
状态转移图
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.4连续信源的熵与互信息
2.4.1 幅度连续的单个符号信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.4.1 幅度连续的单个符号信源熵
普通高等教育“十五”国家级规划教材《信息论与编码》
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.4.2波形信源的熵
普通高等教育“十五”国家级规划教材《信息论与编码》
2.4.3 最大熵定理
问题的提出:
在连续信源中，不同约束条件(峰值功率、平均功率)下，有不同的最大熵。无约束时，最大熵不存在。
对于定义域为有限的随机变量X，当它是均匀分布时，具有最大熵。
变量X的幅度取值限制在[a，b]，当pX (x)=1/(b-a)，
则 Hc(X)=log (b-a)
峰值功率受限为P，则输出信号的瞬时电压限定在P1/2，等价于取值幅度受限。
限峰功率最大熵定理
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
限平均功率最大熵定理
对于相关矩阵一定随机变量X，当它是正态分布时具有最大熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
最大熵定理（总结）
无约束条件的最大熵不存在
限峰功率最大熵
限平均功率最大熵
*
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
2.5 信源的冗余度
冗余度，表示给定信源在实际发出消息时所包含的多余信息。它来自两个方面，一是信源符号间的相关性；二是信源符号分布的不均匀性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》
2.5 信源的冗余度
Eg. 计算英文字母冗余度
H0(X)=lb 27=4.76比特/符号
H1(X)=4.03比特/符号
H2(X)=3.32比特/符号
H3(X)=3.1比特/符号
H00(X)=1.4比特/符号
普通高等教育“十五”国家级规划教材《信息论与编码》
第2章 信源与信息熵
2.1 信源的分类及数学模型
2.2 离散信源熵与互信息
2.3 离散序列信源的熵
2.4 连续信源的熵与互信息
2.5 冗余度
概念、定义、计算公式、相互关系
*
总结
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
第二章复习 概念(1)
信息是可以定量描述的，可以比较大小。由概率决定；
对应特定信源，可以求出所含不确定度，也就是消除不确定度所需的信息量；
可通过对信源的观察、测量获得信息，以减少对信源的不确定度；
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
概念(2)
考虑信源符号概率分布和符号之间的相关性，信源不确定度会下降：
H(X)就是信源无失真时必需输出的最小信息量；
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
概念(3)
通过传输，信宿可以得到信息I(X;Y)，从而减小对信源的不确定度：
H(X/Y)=H(X)-I(X;Y)
信息通过系统传输，只会丢失信息，不会增加。丢失部分H(X/Y)是由噪声引起的。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
定义、计算公式、相互关系
自信息量、信源熵、相对熵
互信息、条件熵、联合熵
序列熵、平均符号熵、极限熵
冗余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
T
X
Y
+
01
01
01
11
22
X
pp
P
éù
éù
éù
êú
==
êú
êú
êú
ëû
ëû
ëû
12
12
()()()
n
n
aaa
X
papapa
P
éù
éù
=
êú
êú
ëû
ëû
L
L
1
()1
n
i
i
px
=
=
å
()
X
px
为
概
率
密
度
函
数
(,)
()
X
ab
X
px
P
éù
éù
=
êú
êú
ëû
ëû
()1
b
X
a
pxdx
=
ò
12
12
,,
(),(),()
()
L
L
L
n
n
X
ppp
p
===
éù
éù
=
=
êú
êú
ëû
ëû
XxXxXx
X
xxx
X
L
L
1212131211
(,,)()(/)(/)(/)
LLL
pXXXpXpXXpXXXpXXX
-
=
LLL
12
()()()
L
pXpXpX
=
L
12
,,
L
L
XXXX
=
L
01
1/2
pp
==
000001111
111
888
===
éù
éù
=
êú
êú
ëû
êú
ëû
XXX
X
P
L
L
323
0011
000001111
pppp
===
éù
éù
=
êú
êú
ëû
ëû
XXX
X
P
L
L
1212111
(,,,)()(/)(/)
LLL
pXXXpXpXXpXXX
-
=
LLL
1
()
N
Xi
i
px
=
=
Õ
[
]
()
N
X
px
=
121211
(,,,)()(/)(/,,)
LLLmL
pXXXpXpXXpXXX
--
=
LLL
{
}
12
1
(,,),
mk
iiiiin
sxxxxAaa
=Î=
LL
{
}
1
()/
0
1
ijmjmiij
ij
ij
j
pmPSsSsp
p
p
+
====
³
ì
ï
í
=
ï
î
å
11121
212
12
{,,}
ij
Q
Q
QQQQ
pijS
ppp
pp
ppp
=Î
éù
êú
êú
=
êú
êú
ëû
p
P
L
MM
L
()
0
lim
0
1
k
ijj
k
j
jiijj
ij
pp
p
pppp
®¥
¥
=
=
³
==
åå
12
1
,[]
j
j
Q
w
www
=
==
å
WPWW
L
+
T
X
Y
113213
324424
1234
1113
2424
1124
3535
1
WWWWWW
WWWWWW
WWWW
+++=
＝
＋
，
＝
＋
＝
＋
，
＝
＋
1234
3664
3535357
WWWW
====
，
，
，
,(),0,()
,(),1,()0
iiii
iiii
pIppIp
pIppIp
ì
¯®®¥
í
¯®®
î
且
当
时
且
当
时
1
()log()log
()
iii
i
Ixapx
px
==-=
1
(0)-lblb 42bit
4
3
(1)-lb0.415
4
I
Ibit
===
==
1
(,)log(,)log
(,)
ijij
ij
Ixypxy
pxy
=-=
1
(/)log(/)log
(/)
ijij
ij
Ixypxy
pxy
=-=
12121
121
(,)()(/)()(/)
(,)log(,)log()(/)
log()log(/)()(/)
(,)()()
(,,,)()(/)
(/,,,)
N
NN
pxypxpyxpypxy
Ixypxypxpyx
pxpyxIxIyx
xyIxyIxIy
IxxxIxIxx
Ixxxx
-
==
=-=-
=--=+
=+
=++
+
LL
L
当
和
相
互
独
立
:
推
广
12
0.80.2
Xxx
P
éùéù
=
êúêú
ëûëû
1212
2222
1122
22
1122
()log()log0.8
()log()log0.2
()()()()
(0.8log0.80.2log0.2)
()()()()()log()
ii
i
Ixpxbit
Ixpxbit
N
INpxIxNpxIx
N
IpxIxpxIxpxpx
=-=-
=-=-
=+
=--
=+=
å
次
后
所
获
得
的
信
息
量
为
平
均
每
次
所
获
得
的
信
息
量
为
()[()]()log()
ii
i
HXEIxpxpx
==-
å
01
1/2
pp
==
0123
1/4
pppp
====
5
310
10
´
01
x
ppq
éùéù
=
êúêú
ëûëû
(/)[(/)](/)log(/)
ii
i
HXyEIXypxypxy
==-
å
,
(/)[(/)]()(/)log(/)
jijij
ij
HXYEHXypypxypxy
==-
å
,
(,)[(,)](,)log(,)
ijij
ij
HXYEIxypxypxy
==-
å
12121
121
(,)()(/)()(/)
()()(/)
()()(/)
()()()
()()(/)
(/)
N
NN
pxypxpyxpypxy
HXYHXHYX
HXYHYHXY
XY
HXYHXHY
HXXXHXHXX
HXXXX
-
==
=+
=+
=+
=++
+
LL
L
当
集
合
和
相
互
独
立
推
广
()()log()
ii
i
HXpxpx
=-
å
,
(/)(,)log(/)
ijij
ij
HXYpxypxy
==-
å
,
(,)(,)log(,)
ijij
ij
HXYpxypxy
=-
å
(,)()(/)
HXYHXHYX
=+
(/)
()
,
(;)()(/)(,)log
ij
i
pxy
ij
px
ij
IXYHXHXYpxy
=-=
å
(/)
(;)log,,
()
a
pxy
IxyxXyY
px
=ÎÎ
(/)(/)()
(;)loglog
()()()
(,)()(/)
loglog
()()()()
(/)
log(;)
()
pxypxypy
Ixy
pxpxpy
pxypxpyx
pxpypxpy
pyx
Iyx
py
==
==
==
(;)0
()
(;)(/)log
(/)
()
log(/)[1]0
(/)
(;)0,(;)0
(;)[(;)]0
x
x
y
IXY
px
IXypxy
pxy
px
epxy
pxy
IXyIxY
IXYEIXy
³
-=
£×-=
\³³
=³
å
å
同
理
,
,
(;)(;)
(/)
(;)()log
()
(/)
()log(;)
()
xy
xy
IXYIYX
pxy
IXYpxy
px
pyx
pxyIYX
py
=
=
==
å
å
(;)()
(;)()
,
(;)0
IXYHX
IYXHY
XY
IXY
£
£
=
当
独
立
(/)
()
,
(/)
()(/)
,
(;)()(/)log
()(/)log(),(/)
ji
j
ji
iji
i
pyx
iji
py
ij
pyx
ijiiji
pxpyx
ij
IXYpxpyx
pxpyxIpxpyx
=
éù
==
ëû
å
å
å
(/,)
(;/)log,,,
(/)
a
pxyz
IxyzxXyYzZ
pxz
=ÎÎÎ
(/,)
(;,)log,,,
()
a
pxyz
IxyzxXyYzZ
px
=ÎÎÎ
(;,)(;)(;/)
(;,)(;)(;/)
(;)(;)(;/)(;/)
(;/)0
(;)(;)(;/)
(;)(;)
YXZ
IXYZIXYIXZY
IXYZIXZIXYZ
IXZIXYIXZYIXYX
YXZ
IXZY
IXZIXYIXYZ
IXZIXY
=+
=+
=+-
=
=-
£
假
设
在
条
件
下
与
相
互
独
立
在
条
件
下
与
相
互
独
立
(;)(;)
(;)(;)
YXZ
IXZIYZ
IXZIXY
£
£
假
设
在
条
件
下
与
相
互
独
立
(
)
(
)
(
)
(
)
//log
x
px
Dpqpx
qx
=
å
(
)
//0
Dpq
³
(//)(//)
DpqDqp
¹
12
0
()(,,,)0
01,log0
log0lim(log)0
()0
i
n
ii
iiii
p
HXHppp
pp
pppp
HX
®
=³
£££
-³-=
³
L
(1,0)(1,0,0)(1,0,0)0
HHH
===
L
1211
123123
123
()(,,,)(,,,)
111111
326362
111
236
nnn
HXHpppHppp
aaabbb
XY
pp
ccc
Z
p
-
==
éùéù
éùéù
êúêú
==
êúêú
êúêú
ëûëû
ëûëû
éù
éù
êú
=
êú
êú
ëû
ëû
LL
信
息
熵
相
同
123
(,,)loglog
iiii
ii
Hppppppq
=-£-
åå
111
()(,,)log
HXHM
MMM
£=
L
(/)()
HYXHY
£
111
0
lim(,,,)(,,)
nnnn
HppHpp
e
ee
+
®
-=
LL
(,)()()
HXYHXHY
=+
111112111
11
1
(,,,,,,,)
()()
nmmnnnnm
n
nnimiim
i
Hpppppppppp
HpppHpp
=
=+
å
LLL
LL
(,)()(/)
HXYHXHYX
=+
12
112112121
(,,,,,,,)(,,,,)(,,,)
m
nmnmnnnnm
nnn
q
qq
HpppqqqHpppppH
ppp
+---
=+
LLLL
1
1,
m
ijn
j
pqp
=
==
åå
n
i=1
其
中
n
p
()()log()
ii
i
HXpxpx
=-
å
,
(/)(,)log(/)
ijij
ij
HXYpxypxy
=-
å
,
(,)(,)log(,)
ijij
ij
HXYpxypxy
=-
å
(,)()(/)
HXYHXHYX
=+
1
()()log(),
L
n
ii
i
Hpp
=
=-
å
Xxx
12
()()()()
iiiiL
ppxpxpx
=
x
L
12
121
111
()()()()[log()log()]
L
nnn
iiiLiiL
iii
Hpxpxpxpxpx
===
=-++
ååå
X
LLL
211
21
11
11
1=1=1
1=1=1
()()()log()
()()()log()
L
L
LLL
LL
nnn
iiii
iii
nnn
iiii
iii
pxpxpxpx
pxpxpxpx
-
-
=
=
=-
--
ååå
ååå
L
LL
1
()
L
l
l
HX
=
=
å
()
LHX
=
1
()()=()
L
HHHX
L
=
XX
12111
()()(/)(/)
LL
HHXHXXHXXX
-
=+++
LL
X
1
1
(/)
L
l
l
l
HXX
-
=
=
å
1
1
11
()()(/)
L
l
Ll
l
HHHXX
LL
-
=
==
å
XX
[
]
123
1141
3694
aaa
XP
éù
êú
=
êú
ëû
1
(/)
L
L
HXX
-
1
()(/)
L
LL
HHXX
-
³
X
()
L
H
X
121
()lim()lim(/,,)
LLL
LL
L
HHHXXXX
¥-
®¥®¥
®¥
==
XX
L
当
012
()()()()
HXHXHH
¥
³³³
XX
L
111
1111
11
1111
11
,;
,
11
(/,)(/)
(,,)log(/,)
(,)log(/,)
(/,)()
mmm
mmm
m
mmm
m
iiiii
iiiiii
iii
iiiii
ii
mm
pxxxpxs
pxxspxxx
pxxpxxx
HXXXH
++
++
+
++
+
+¥
=
=-
=-
==
å
å
L
L
L
LL
LL
L
X
对
于
齐
次
遍
历
马
氏
链
左
边
111
11
11
1
11
1
,;
,
,
(,,)log(/)
(,)log(/)
()(/)log(/)
()(/)
()()(/)
mm
m
mm
m
mm
m
iiiii
iii
iiii
ii
iiiii
ii
ii
i
ii
i
pxxspxs
pxspxs
pspxspxs
psHXs
HpsHXs
++
+
++
+
++
+
¥
=-
=-
=-
=
=
å
å
å
å
å
X
L
L
右
边
0.100.9
0.500.5
00.20.8
éù
êú
=
êú
êú
ëû
P
3
1
()(/)0.743
ii
i
HWHXs
¥
=
==
å
X
(1)
11
[,],()/,[(1),]
()()()
()()log()()log()
()lim()()log()limlog()
i
aix
iXXi
aix
nn
niiXiXi
ii
bb
nXiXiXi
aa
nn
xabxbanxaixaix
pxpxdxpxx
HXpxpxpxxpxx
HXHXpxpxdxxpxdx
+D
+-D
==
®¥®¥
ÎD=-Î+-D+D
==D
=-=-DD
==--D
=-
ò
åå
òò
令
利
用
中
值
定
理
可
得
p
limlog
n
x
®¥
-D
ò
b
XiXi
a
(x)logp(x)dx
,,
,
()()log()
(,)(,)log(,)
(/)(,)log(/)
(,)()(/)
(;)(;)()(/)
()()(,)()(/)
cXX
cXYXY
cXYY
ccc
cc
ccccc
HXpxpxdx
HXYpxypxydxdy
HYXpxypyxdxdy
HXYHXHYX
IXYIYXHXHXY
HXHYHXYHYHYX
¥
-¥
¥
-¥
¥
-¥
=-
=-
=-
=+
==-
=+-=-
ò
ò
ò
连
续
信
源
熵
联
合
熵
条
件
熵
互
信
息
12
,
()(,,)()log()
()()log()
(())lim()
(()/())lim(/)
ccLXX
cXYY
cc
L
cc
L
HHXXXppd
Hppdd
L
HxtH
HytxtH
¥
-¥
¥
-¥
®¥
®¥
==-
=-
®¥
»
»
ò
ò
L
XY
Xxxx
Y/Xx,yy/xxy
X
YX
平
稳
随
机
矢
量
和
连
续
熵
条
件
熵
随
机
波
形
信
源
取
()
max()?
C
px
HX
=
2
2
2
2
()
2
2
()
2
2
2
2
2
2
2
2
22
2
22
1
()
2
1
()()log[]
2
()
()[logexp()log2]
2
()
()log2log()
2
log
log2
2
1
log2log(2)
2
xm
xm
c
pxe
HXpxedx
xm
pxdx
xm
pxdxepxdx
e
ee
s
s
ps
ps
ps
s
ps
s
pss
s
psps
--
--
¥
-¥
¥
-¥
¥¥
-¥-¥
=
=-
--
=--
-
=+×
=+×
==
ò
ò
òò
:
()
()
:
()
11
()
m
m
HX
HX
HX
HX
h
gh
¥
¥
=
=-=-
定
义
信
息
效
率
定
义
冗
余
度
1.4
0.29
4.76
10.71
h
gh
==
=-=