第3章信道与信道容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
第3章信道与信道容量
信道的基本概念
离散单个符号信道及其容量
离散序列信道及其容量
连续信道及其容量
多输入多输出信道及其容量
信源与信道的匹配
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.1.1 信道的分类
用户数量：单用户、多用户
输入端和输出端关系：无反馈、有反馈
信道参数与时间的关系：固参、时变参
噪声种类： 随机差错、突发差错
输入输出特点：离散、连续、半离散半连续、
波形信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3.1.2 信道的数学模型
信道输入
信道输出
条件概率p(Y/X)来描述信道输入、输出信号之间统计的依赖关系。
转移概率矩阵
Pij=P(yj/xi), i=1,2,…,n; j=1,2,…,m
信道参数
无干扰（无噪声）信道
有干扰无记忆信道
每个输出信号只与当前输入信号之间有转移概率关系，只要分析单个符号的转移概率
有干扰有记忆信道
将转移概率p(Y/X)看成马尔可夫链的形式，记忆有限
√
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
有干扰无记忆信道
二进制对称信道（BSC）
信道参数
p(Y=0|X=1) = p(Y=1|X=0) = p
p(Y=1|X=1) = p(Y=0|X=0) = 1- p
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道参数
有干扰无记忆信道
离散无记忆信道（DMC)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道参数
有干扰无记忆信道
离散输入、连续输出信道
Y＝X＋N
加性高斯白噪声 (AWGN) 信道：
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道参数
有干扰无记忆信道
波形信道
噪声与信号通常相互独立，
波形信道转化成多维连续信道，
条件熵HC(Y/X)是由于噪声引起的，它等于噪声信源的熵HC(n)，所以称条件熵为噪声熵
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息传输率：信道中平均每个符号所能传送的信息量，R=I(X;Y)=H(X)－H(X/Y) 比特/符号
信息传输速率：信道在单位时间内平均传输的信息量，Rt=I(X;Y)/t 比特/秒
信道容量：信道所能传送的最大信息量。
比特/符号（bits/symbol或bits/channel use）
在p(y/x)给定时，I(X;Y)是关于p(x)的上凸函数。
信道容量要解决的问题：C=? p(xi)=?
3.1.3 信道容量的定义
对于时变信道参数的信道，由于其信道参数随时间变化，不能用固定值表示，其信道容量也不再是一个固定的量，而是一个随机变量。
遍历容量(Ergodic Capacity)：对随机信道容量的所有可能的值进行平均的结果，即
*
中断容量（Outage Capacity）：当信道瞬时容量Cinst小于用户要求的速率时，信道就会发生中断事件，这个事件的概率称为中断概率Poutage。这个用户要求的速率就定义为对应于该中断概率Poutage的中断容量Coutage，即
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.2离散单个符号信道及其容量
3.2.1 无干扰离散信道
X、Y一一对应
C＝log n
多个输入变成一个输出
C＝maxH(Y)
一个输入对应多个输出
C＝maxH(X)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.2.2 对称DMC信道
输入对称
如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称
输出对称
如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称
对称的DMC信道
如果输入、输出都对称
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
对称DMC信道例子
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
输入对称
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
对称DMC的信道容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
如果信道输入符号等概分布p(ai)＝1/n
当转移概率矩阵列对称时，信道输出符号p(bj)等概分布－－输出对称
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
例1. 求信道容量
p(a1)＝p(a2)＝1/2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Eg. 求信道容量
信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
例2. 二进制对称信道容量
C＝1－[-p log p-(1-p)log(1-p)]=1-H(p)
p(x=0)=p(x=1)=1/2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
串联信道
C(1,2)=maxI(X;Z)
C(1,2,3)=maxI(X;W)…
串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道容量
I(X;Y)=1-H()，I(X;Z)=1-H[2 (1-)]
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.2离散单个符号信道及其容量
3.2.3 准对称DMC信道
如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3.2.3 准对称DMC信道
输入对称
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Eg. 求信道容量
方法一：
信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－，
信道的输出符号有三个，用b1、b2、b3表示，
p(a1)＝p(a2)＝1/2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
方法二
当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4
C=H(Y)-H(Y/X)=0.036bit/符号
方法三
将转移概率矩阵划分成若干个互不相交的对称的子集
n为输入符号集个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
方法三
p(a1)＝p(a2)＝1/2
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Eg. 求信道容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.2.4 一般DMC信道
一般地说，为使I(X;Y) 最大化以便求取DMC容量，输入符号概率集{p(ai)}必须满足的充分和必要条件是：
I(ai;Y) = C 对于所有满足p(ai ) > 0条件的I I(ai;Y) C 对于所有满足p(ai ) = 0条件的I 当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
上述结论只给出了达到信道容量C时输入符号概率p(ai)分布的充要条件，并未给出具体值，所以C没有具体可求的公式。一般情况下，最佳分布不一定是唯一的，只须满足该结论，并使互信息最大即可。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.3离散序列信道及其容量
离散序列信道
信道
p(Y/X)
Y
X
X=(X1X2…XL)
Xl{a1,a2,…,an}
Y=(Y1Y2…YL)
Yl {b1,b2,…,bm}
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.3离散序列信道及其容量
离散无记忆序列信道
1
1
1
1
1
进一步信道是平稳的
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
如果信道无记忆
如果输入矢量X中的各个分量相互独立
当信源、信道均无记忆时
当信道平稳时CL=LC1，一般情况下，I(X;Y) LC1
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
扩展信道
如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道
1
1
1
1
1
BSC的二次扩展信道
X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2
00
10
11
01
00
01
10
11
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
扩展信道
1
1
1
1
若p＝0.1，则C2＝2－0.938＝1.062比特/序列
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
序列的转移概率p(Y1Y2…YL/X1X2…XL)=p(Y1/X1)p(Y2/X2)…p(YL/XL)
1
1
1
1
X1 p(Y1/X1) Y1
X2 p(Y2/X2) Y2
…
XL p(YL/XL) YL
相当于无记忆扩展信道
只有当输入相互独立时取等号。
独立并联信道
*
3.4 连续信道及其容量
3.4.1 连续单符号加性信道
x (xR) p(y/x) y (yR)
n
y=x+n
pn(n)＝N(0, 2)
平均互信息为I(X;Y)＝HC(Y)－HC(Y/X)
信道容量
噪声是均值为零、方差为2的加性高斯噪声
*
pn(n)＝N(0, 2)，当 pY(y)＝N(0,Po)时取得maxHC(Y)， pX(x)＝N(0,Ps)，Po=Ps+ 2
C＝1/2 log(1+SNR)
信道输入X是均值为零、方差为PS的高斯分布随机变量时，信息传输率达到最大值。
若是加性的，可以求出信道容量的上下界
*
考虑信道衰减时： y=Hx+n
输出端的功率|H|2PS+ 2
C＝1/2 log(1+|H|2 SNR)
*
3.4.2 多维无记忆加性连续信道
信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL 是均值为零的高斯噪声
*
连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道。
比特/L维自由度
因此当且仅当输入随机矢量X中各分量统计独立，且是均值为零、方差为Psl的高斯变量时，才能达到此信道容量。
3.4.2 多维无记忆加性连续信道
*
3.4.2 多维无记忆加性连续信道
讨论
噪声均值为零、方差相同
均值为零、方差不同，总平均功率受限P，功率合理分配。
?
*
讨论
各个时刻的信道输出功率相等设为常数
*
讨论
均值为零、方差不同，总平均功率受限P，功率合理分配。
*
注水法(water-filling)功率分配
功率
PS3=0
PS1 PS2 PS4 PS5
12 22 32 42 52
*
l
1 2 3 4 5
例 有一并联高斯加性信道，各子信道噪声方差为 ＝0.1， ＝0.2， ＝0.3， ＝0.4， ＝0.5， ＝0.6， ＝0.7， ＝0.8， ＝0.9， ＝1.0
P=5
各子信道分配的功率分别是：0.95，0.85，0.75，0.65，0.55，0.45，0.35，0.25，0.15，0.05。总的信道容量C＝6.1比特/10维自由度。
(2)P=3 ?
*
3.4.3 限时限频限功率加性高斯白噪声信道
波形信道的平均互信息为
信道容量为
*
限时限频(W)高斯白噪声过程可分解L＝2WtB维统计独立的随机序列
其中：
3.4.3 限时限频限功率加性高斯白噪声信道
*
信道的容量
单位时间的信道容量
香农公式
3.4.3 限时限频限功率加性高斯白噪声信道
*
输入信号{x(t)}满足均值为零、平均功率Ps的高斯白噪声的特性
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
讨论
带宽W一定时，信噪比SNR与信道容量Ct 成对数关系，SNR增大，Ct 就增大，但增大到一定程度后就趋于缓慢。
增加输入信号功率有助于容量的增大，但该方法是有限的；
降低噪声功率也是有用的，当
时， ，即无噪声信道的容量为无穷大。
Ct ＝W log(1+SNR) 比特/秒
Ct
SNR
信道容量与信噪比的关系
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
讨论
当输入信号功率PS一定，增加信道带宽，可以增加容量
ln(1+x) x
PS/N0＝ln 2＝-1.6dB，即当带宽不受限制时，传送1比特信息，信噪比最低只需-1.6dB （香农限）
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Ct/W＝log(1+SNR)比特/秒/Hz，单位频带的信息传输速率－－频带利用率，该值越大，信道就利用得越充分。
讨论
Ct/W (bit/s/Hz)
不可实现区域
1 可实现区域
-1.6 0 SNR(dB)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Ct ＝W log(1+SNR) 比特/秒
Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的。
若有较大的传输带宽，则在保持信号功率不变的情况下，可容许较大的噪声，即系统的抗噪声能力提高。
无线通信中的扩频系统就是利用了这个原理，将所需传送的信号扩频，使之远远大于原始信号带宽，以增强抗干扰的能力。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
Eg电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
3.5.1 MIMO信道模型
3.5.2 MIMO信道容量
3.5 MIMO信道及其容量
*
3.5.1 MIMO信道模型
点到点MIMO系统由MT根发送天线和MR根接收天线以及相应的空-时编码器和空-时译码器组成 。
*
*
信道矩阵：H为复矩阵，hij表示第j根发送天线至第i根接收天线的信道衰落系数。
归一化约束：每一根天线的接收功率均等于总的发送功率
3.5.1 MIMO信道模型
*
3.5.1 MIMO信道模型
发送信号：第j根天线发送xj为零均值i.i.d高斯变量，发送信号的协方差矩阵为：
总的发送功率约束为
若每根天线发送相等的信号功率PT/MT，
*
接收端的噪声：各分量为独立的零均值高斯变量，具有独立的和相等方差的实部和虚部。
噪声协方差矩阵
若n的分量间不相关，
每根接收天线具有相等的噪声功率2。
每根接收天线输出端的信号功率为PT，故接收功率信噪比为
3.5.1 MIMO信道模型
*
接收端已知信道转移矩阵H，其值固定。
如果发送端未知信道状态信息（CSI），最优方案是等功率发送：
如果发送端已知信道状态信息，则可以运用注水法将总发送功率分配到各个发送天线，然后利用容量公式计算。
3.5.2 MIMO信道容量
*
接收端已知信道状态信息，但信道转移矩阵H是复随机变量，
*
当M很大时，可利用大数定理
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
3.6 信源与信道的匹配
信源发出的消息（符号）要通过信道来传输，因此要求信源的输出与信道的输入匹配。
符号匹配：信源输出的符号必须是信道能够传送的符号；
信息匹配：当信源与信道连接时，信息传输率达到信道容量，则称信源与信道达到匹配。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道剩余度
信道绝对剩余度 = C－I(X;Y)
信道相对剩余度 =
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
剩余度大：信源与信道匹配程度低，信道的信息传递能力未得到充分利用；
剩余度小：信源与信道匹配程度高，信道的信息传递能力得到较充分利用；
剩余度为零，说明信源与信道（信息）完全匹配，即信源概率分布符合最佳输入分布。
一般来说，实际信源的概率分布未必就是信道的最佳输入分布，所以I(X;Y)≤C，剩余度不为零。
信道剩余度
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
第3章复习
信道参数：用转移概率表示信道
信道模型
二进制离散信道BSC
离散无记忆信道DMC
波形信道
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
信道容量
信道上每传送一个符号(每使用一次信道)所能携带的比特数，即比特/信道符号(bits/symbol或bits/channel use)。
如果已知信道符号传送周期是T秒，此时Ct=C /T，比特/秒(bits/s)
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
DMC信道的容量
对称DMC信道的容量：当信道输入符号等概分布时，可达到其信道容量
BSC信道的容量：m＝2
准对称信道的容量
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
连续信道及其容量
连续单符号加性信道
多维无记忆加性连续信道
限时限频限功率加性高斯白噪声信道
C＝1/2 log(1+SNR) bit/sym
噪声均值为零、方差不同，
总平均功率受限P，
用注水法分配功率。
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
带限波形信道的容量
条件：
信道带宽W受限
噪声为加性高斯白噪声（均值为零，功率谱密度为N0）
输入信号平均功率受限PS
若输入信号是平均功率受限的高斯白噪声信号，可达信道容量
香农公式：
香农限：－1.6dB
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信道
X
Y＝X+N
N
1-p
1-p
p
p
0
1
1
0
b2
a2
a1
an
bm
b1
N
Y
X
+
n(t)
y(t)
x(t)
+
X Y X Y X Y
1 1 1
1 1 1
1 1
1 1 1
1 1
(a) 无噪无损信道 (b) 无噪有损信道 (c) 有噪无损信道
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
1-p
1-p
p
p
0
1
1
0
信道1 信道2 … 信道m
0
0.5
1
0
0.2
0.4
0.6
0.8
1
m=1
m=2
m=3
n=n1n2…nL
Y＝Y1Y2…YL
X＝X1X2…XL
高斯噪声n
输出序列y
输入序列x
加性信道
YL=XL+nLL
Y1=X1+n1
Y2=X2+n2
+
+
+
XL
X2
X1
n1
{
}
{
}
121
121
(,,,),,,
(,,,),,,
iin
jjm
XXXXaa
YYYYbb
=Î
=Î
X
Y
LLL
LLL
信道
X
Y
＝
X+N
N
[
]
ú
ú
ú
ú
ú
ú
ú
ú
û
ù
ê
ê
ê
ê
ê
ê
ê
ê
ë
é
=
nm
nj
n2
n1
im
ij
i2
i1
2m
2i
22
21
1m
1i
12
11
ij
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
L
L
M
O
M
O
M
M
L
L
M
O
M
O
M
M
L
L
L
L
î
í
ì
¹
=
=
)
(
,
0
)
(
,
1
)
/
(
x
y
x
y
X
Y
f
f
p
11
(/)(/)(/)
LL
ppyxpyx
=
YX
L
ú
û
ù
ê
ë
é
–
–
=
p
p
p
p
1
1
P
1
–
p
1
–
p
p
p
0
1
1
0
ú
ú
ú
ú
û
ù
ê
ê
ê
ê
ë
é
=
nm
n
n
m
m
p
p
p
p
p
p
p
p
p
L
M
M
M
M
L
L
2
1
2
22
21
1
12
11
P
b
2
a
2
a
1
a
n
b
m
b
1
n
i
a
b
p
m
j
i
j
,
,
2
,
1
,
1
)
|
(
1
L
=
=
å
=
2
2
2
/
)
(
2
1
)
/
(
s
ps
i
a
y
i
Y
e
a
y
p
–
–
=
+
X
Y
N
+
x(t)
y(t)
n(t)
11
(/)(,,/,,)
LL
ppyyxx
=
YY
yx
LL
,,
(,)(,)
(/)()
()()
XYXn
Yn
XX
pxypxn
pyxpn
pxpx
===
(/)()
cc
HYXHn
=
)
;
(
max
)
(
Y
X
I
C
i
x
p
=
(;)(),(/)
iji
IXYIpxpyx
éù
=
ëû
()
avgH
CEC
=
()
instoutageoutage
PCCP
<=
outageoutage
PC
¯¾¾®¯
X Y X Y X Y
1 1 1
1 1 1
1 1
1 1 1
1 1
(a) 无噪无损信道 (b) 无噪有损信道 (c) 有噪无损信道
ú
ú
ú
û
ù
ê
ê
ê
ë
é
3
1
3
1
6
1
6
1
6
1
6
1
3
1
3
1
ú
ú
ú
ú
ú
ú
û
ù
ê
ê
ê
ê
ê
ê
ë
é
2
1
6
1
3
1
3
1
2
1
6
1
6
1
3
1
2
1
无关
与
i
a
b
p
a
b
p
j
i
j
i
j
å
)
/
(
log
)
/
(
)
/
(
)
/
(
log
)
/
(
)
/
(
log
)
/
(
)
(
)
/
(
i
j
i
j
i
j
j
i
j
i
j
i
i
x
Y
H
a
b
p
a
b
p
a
b
p
a
b
p
a
p
X
Y
H
=
-
=
-
=
å
å
å
()
()
()
max(;)
max[()(|)]
max()(/)
i
i
i
pa
pa
pa
CIXY
HYHYX
HYHYX
=-
=-
＝
å
=
+
=
-
=
m
j
ij
ij
i
p
p
m
a
Y
H
m
C
1
log
log
)
|
(
log
å
å
=
=
i
i
j
i
i
j
i
j
a
b
p
n
a
b
p
a
p
b
p
)
/
(
1
)
/
(
)
(
)
(
()
max()?log()?
i
i
pa
HYmpa
=
=
ú
ú
ú
û
ù
ê
ê
ê
ë
é
=
3
1
3
1
6
1
6
1
6
1
6
1
3
1
3
1
P
符号
/
082
.
0
)
6
1
,
6
1
,
3
1
,
3
1
(
4
log
2
bit
H
C
=
-
=
ú
ú
ú
ú
ú
ú
ú
û
ù
ê
ê
ê
ê
ê
ê
ê
ë
é
-
-
-
-
-
-
-
-
-
=
e
e
e
e
e
e
e
e
e
1
1
1
1
1
1
1
1
1
L
M
M
M
M
L
L
n
n
n
n
n
n
P
)
1
,
,
1
,
1
(
log
-
-
-
-
=
n
n
H
n
C
e
e
e
L
0
0.2
0.4
0.6
0.8
1
0
0.2
0.4
0.6
0.8
1
信道1 信道2 … 信道m
ú
û
ù
ê
ë
é
-
-
=
=
e
e
e
e
1
1
2
1
P
P
ú
û
ù
ê
ë
é
+
-
-
-
+
-
=
ú
û
ù
ê
ë
é
-
-
ú
û
ù
ê
ë
é
-
-
=
=
2
2
2
2
2
1
)
1
(
)
1
(
2
)
1
(
2
)
1
(
1
1
1
1
e
e
e
e
e
e
e
e
e
e
e
e
e
e
e
e
P
P
P
0
0.5
1
0
0.2
0.4
0.6
0.8
1
m=1
m=2
m=3
ú
û
ù
ê
ë
é
=
3
/
1
6
/
1
3
/
1
6
/
1
6
/
1
6
/
1
3
/
1
3
/
1
1
P
ú
û
ù
ê
ë
é
=
7
.
0
1
.
0
2
.
0
2
.
0
1
.
0
7
.
0
2
P
()()
max(;)max()(/)
ii
i
papa
CIXYHYHYx
=-
＝
()()
max()max[()]
ii
j
papa
HYfpb
==
()()(/)
jiji
i
pbpapba
=
å
()
max[()]
i
i
pa
fpa
ú
û
ù
ê
ë
é
=
2
.
0
5
.
0
3
.
0
2
.
0
3
.
0
5
.
0
P
ï
î
ï
í
ì
=
-
+
=
-
=
-
+
=
+
=
-
+
=
2
.
0
)
1
(
2
.
0
2
.
0
)
(
2
.
0
5
.
0
)
1
(
5
.
0
3
.
0
)
(
2
.
0
3
.
0
)
1
(
3
.
0
5
.
0
)
(
3
2
1
a
a
a
a
a
a
a
a
b
p
b
p
b
p
0
)
;
(
=
¶
¶
a
Y
X
I
符号
/
036
.
0
)
;
(
max
bit
Y
X
I
C
=
=
jjijiji
jij
I(X;Y)H(Y)H(Y/X)
p(b)lnp(b)p(a)p(b/a)lnp(b/a)
=-
=-+
ååå
å
=
-
-
=
r
k
k
k
s
M
N
p
p
p
H
n
C
1
2
1
log
)
'
,
'
,
'
(
log
L
ú
û
ù
ê
ë
é
=
2
.
0
5
.
0
3
.
0
2
.
0
3
.
0
5
.
0
P
ú
û
ù
ê
ë
é
ú
û
ù
ê
ë
é
2
.
0
2
.
0
,
5
.
0
3
.
0
3
.
0
5
.
0
符号
/
036
.
0
4
.
0
log
2
.
0
8
.
0
log
8
.
0
)
2
.
0
,
3
.
0
,
5
.
0
(
2
log
2
2
2
bit
H
C
=
-
-
-
=
ú
û
ù
ê
ë
é
=
3
/
1
6
/
1
3
/
1
6
/
1
6
/
1
6
/
1
3
/
1
3
/
1
1
P
符号
/
041
.
0
)
6
/
1
6
/
1
(
log
6
/
1
)
3
/
1
3
/
1
(
log
3
/
1
)
6
/
1
3
/
1
(
log
)
6
/
1
3
/
1
(
)
6
/
1
,
6
/
1
,
3
/
1
,
3
/
1
(
2
log
2
2
2
2
bit
H
C
=
+
-
+
-
+
+
-
-
=
å
=
i
i
i
Y
a
I
a
p
Y
X
I
)
;
(
)
(
)
;
(
(/)
(;)(/)log
()
ij
iji
j
i
pab
IaYpba
pa
=
å
)
;
(
max
)
(
Y
X
I
C
i
a
p
=
Õ
=
=
=
L
l
l
l
L
L
X
Y
p
X
X
Y
Y
p
p
1
1
1
)
/
(
)
/
(
)
/
(
L
L
X
Y
)
/
(
)
/
(
x
y
p
p
L
=
X
Y
å
å
=
-
=
=
-
=
)
(
)
/
(
log
)
(
)
/
(
)
(
)
(
)
/
(
log
)
(
)
/
(
)
(
)
;
(
Y
X
Y
XY
X
Y
X
XY
Y
X
p
p
p
X
Y
H
Y
H
p
p
p
Y
X
H
X
H
I
L
L
L
L
L
L
å
=
£
L
l
l
l
Y
X
I
I
1
)
;
(
)
;
(
Y
X
å
=
³
L
l
l
l
Y
X
I
I
1
)
;
(
)
;
(
Y
X
å
å
å
=
=
=
=
=
=
=
L
l
L
l
l
l
P
L
l
l
l
P
P
L
l
C
Y
X
I
Y
X
I
I
C
X
1
1
1
)
(
)
;
(
max
)
;
(
max
)
;
(
max
X
X
Y
X
ú
ú
ú
ú
ú
û
ù
ê
ê
ê
ê
ê
ë
é
-
-
-
-
-
-
-
-
-
-
-
-
=
2
2
2
2
2
2
2
2
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
)
1
(
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
p
P
]
),
1
(
),
1
(
,
)
1
[(
4
log
2
2
2
2
p
p
p
p
p
p
H
C
-
-
-
-
=
1
(;)(;)
L
ll
l
IIXY
=
£
å
XY
12
1
max(;)
L
Ll
l
CIC
=
=£
å
XY
L
[
]
()()
max(;)max()(/)
XX
CC
pxpx
CIXYHYHYX
==-
()
2
()
max()()
1
max()log2
2
X
X
CC
px
C
px
CHYHn
HYe
ps
=-
=-
2
22
1111
log2log2loglog(1)
2222
os
o
PP
CePe
pps
ss
=-==+
2
11
log(1)log2()
22
s
oC
P
CePHn
p
s
+££-
加性信道
ÊäÈëÐòÁÐ
x
Êä³öÐòÁÐ
y
¸ß˹ÔëÉù
n
X
£½
X
1
X
2
¡
X
L
Y
£½
Y
1
Y
2
¡
Y
L
n
=
n
1
n
2
¡
n
L
+
X
1
Y
1
=
X
1
+
n
1
n
1
+
X
2
Y
2
=
X
2
+
n
2
+
X
L
Y
L
=
X
L
+
n
L
L
2
11
1
(;)(;)log(1)
2
l
LL
s
ll
ll
l
P
IIXY
s
==
£=+
åå
XY
2
()
1
1
max(;)log(1)
2
l
L
s
p
l
l
P
CI
s
=
==+
å
x
XY
2
log(1)
2
s
LP
C
s
=+
22
111
l
LLL
llS
lll
EXEXPP
===
éù
éù
===
êú
ëû
ëû
ååå
12
2
11
1
(,,)log(1)
2
l
Ll
LL
S
SSSS
ll
l
P
fPPPPP
l
s
==
æö
=++-
ç÷
èø
åå
L
12
(,,)
0,1,2,,
L
l
SSS
S
fPPP
lL
P
¶
==
¶
L
L
2
11
0,1,2,,
2
l
Sl
lL
P
l
s
+==
+
L
2
1
,1,2,,
2
l
Sl
PlL
s
l
+=-=
L
L
P
l
l
å
+
=
2
s
n
2
22
1
l
L
i
i
Sll
P
P
L
s
nss
=
+
=-=-
å
å
å
=
=
+
=
L
l
l
L
i
i
L
P
C
1
2
1
2
log
2
1
s
s
2
1
log(1),,0
2
l
ll
S
SS
ll
l
P
CPPP
s
=+=³
åå
2
1
s
2
2
s
2
3
s
2
4
s
2
5
s
2
6
s
2
7
s
2
8
s
2
9
s
2
10
s
2
1.05
l
l
P
L
s
n
+
==
å
[();()]lim(;)
L
IxtytI
®¥
=
XY
()
1
maxlim(;)/
B
t
t
p
B
CIbits
t
®¥
éù
=
êú
ëû
X
x
XY
2
1
1
log(1)
2
l
L
S
l
l
P
C
s
=
=+
å
2
2
/
0
0
2
N
Wt
t
W
N
P
B
B
n
l
=
×
×
=
=
s
/2
2
l
S
SSBB
P
PPtWt
W
==
0
00
log(1/)log(1)log(1)
2222
SSS
B
LPNLPP
CWt
WNWNW
=+=+=+
0
limlog(1)/
log(1)
B
S
t
t
B
P
C
CWbits
tNW
WSNR
®¥
==+
=+
0
0
®
N
¥
®
t
C
x
S
W
S
S
S
W
t
W
x
N
P
W
N
P
P
WN
N
P
C
C
/
1
0
0
0
0
)
1
log(
lim
)
1
log(
lim
lim
+
=
+
=
=
¥
®
¥
®
¥
®
¥
秒
/
2
ln
)
1
ln(
2
ln
lim
0
/
1
0
bit
N
P
x
N
P
S
x
S
W
=
+
=
¥
®
s
bit
C
/
1
=
¥
s
kb
SNR
W
C
t
/
22
)
100
1
log(
3
.
3
)
1
log(
=
+
=
+
=
1x2xTMxji11h21h12h1RMh22h1TMh2TMhRTMMh2RMh1y2yRMy
空-时
编码器
空-时
译码器
2
111
111
1
~(0,)
T
RRRTTR
M
ij
MMMMMM
hh
yxn
h
yhhxn
N
s
éù
éùéùéù
êú
êúêúêú
=+
êú
êúêúêú
êú
êúêúêú
ëûëûëû
ëû
=+
yHxnnI
L
MMMMM
L
，
2
1
, 1,2,
T
M
ijTR
j
hMiM
=
==
å
L
{}
H
xx
RExx
=
()
Txx
PtrR
=
T
T
xxM
T
P
RI
M
=
{}
H
nn
REnn
=
2
R
nnM
RI
s
=
2
T
P
r
s
=
†
logdet
N
C
M
r
éù
=+
êú
ëû
IHH
2
{log[det()]}
{log[det()]}
R
R
H
T
HM
T
H
HM
T
P
CEIHH
M
EIHH
M
s
r
=+
=+
†
M
N
M
®¥
¾¾¾®
HHI
(
)
log1
CN
r
®+
†
N
M
N
®¥
¾¾¾®
HHI
log1
N
CM
M
r
æö
®+
ç÷
èø
(;)
1
IXY
C
-
)
;
(
max
)
(
Y
X
I
C
i
x
P
＝
1
log(|)loglog
m
iijij
j
CmHYxmpp
=
=-=+
å
2
1
1
log(1)
2
l
L
s
l
l
P
C
s
=
=+
å
log(1)/
t
CWSNRbits
=+
0
log(1)log(1)
P
CWWSNR
WN
=+=+