0. 引言
信息论与编码
*
？
？
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息
不是静止的：获取、传输、处理、存储、显示
信息科学：
主要理论基础之一——信息论：可能性、存在性，为具体实现提供理论依据；
应用领域——信息技术：如何实现、怎样实现
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
总结
信息：
发生了一个事件，使得接收者（receiver）可以知道
*
随机性
一个确实的事件不带有信息
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
第1章 绪论
信息论的形成与发展
信息理论研究的内容
通信系统的模型
信息论的应用
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1.1 信息论的形成与发展
信息论的发展过程
1924年，H Nyquist， 信息率与带宽联系
1928年，RV Hartley, 引入非统计信息量
1936年，EH Armstrong， 带宽与抗干扰能力
1939年，H Dudley, 发明声码器
40年代初，N Wiener, “控制论”
1948年，Shannon, “信息论” “A mathematical theory of communications”信息时代的里程碑
50年代开始，IRE成立信息论组，出版信息论汇刊
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息论发展简史
1948年，Shannon信息论奠基信息的度量
1952年，Fano证明了Fano不等式，给出了Shannon信道编码逆定理的证明；1957年，Wolfowitz，1961 Fano，1968Gallager给出信道编码定理的简单证明并描述了码率、码长和错误概率的关系；1972年Arimoto和Blahut发明了信道容量的迭代算法信道编码理论
1950年汉明码，1960年卷积码的概率译码，Viterbi译码，1982年Ungerboeck编码调制技术，1993年Turbo编译码技术信道编码技术
信息论发展简史（续）
1956年，McMillan证明了Kraft不等式。1952年Fano码，Huffman码。1976 Rissanen算术编码，1977，78 Ziv和Lempel的LZ算法无失真信源编码
1959年，Shannon提出率失真函数和率失真信源编码定理有失真信源编码
1961年，Shannon的“双路通信信道”开拓了网络信息论的研究，1972年，Cover广播信道，目前是非常活跃的研究领域 网络信息论
七十年代：有关信息论的研究，从点对点间的单用户通信推广到多用户系统的研究。密码学成为信息论重要分支。信息安全的重要性 密码学
信息论基础：也称狭义信息论/经典信息论/香农信息论。主要研究信息测度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理，信源编码，信道编码。
一般信息论：主要研究信息传输和处理问题。除香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论。后一部分内容以维纳为代表。
广义信息论：是一门综合性的新型学科－信息科学。至今没有严格的定义。凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学、社会学、经济管理中有关信息的问题。
1.2 信息理论研究的内容
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息
信息是无形的
信息是可共享的
信息是无限的
信息是无所不在的
信息是可度量的
1.2 信息理论研究的内容
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息（Information）、消息（Message）、信号（Signal）是人们最常使用的3个基本术语
它们的确切含义和相互关系是什么？
信息、消息、信号
信息、消息、信号
信息：一个抽象的概念。
消息：是信息的载体，相对具体的概念，如语言，文字，数字，图像
信号：表示消息的物理量，电信号的幅度，频率，相位等等
所以，消息是信息的数学载体、信号是信息的物理载体
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
例
烽火台
信息：有/无敌情
消息：s(x)=sgn(x)
信号：火光（亮，灭）
无线通信
信息：通话内容
消息：s(t)（连续的语音）
信号：电磁波（基带信号或频带信号）
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息论的基本内容
信息的度量：信源、信道
信息的传输：在噪声环境下，有效地、可靠地、安全地传送——编码
Shannon信息论
——又叫狭义信息论
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信息论对研究实际通信系统的作用
提供一个最为普遍的概念性框架，在该框架内可以构建实际信源和信道更详细的模型;
由该理论建立的关系可为给定系统构建编码器和译码器时进行折衷指明方向。
1.3 通信系统的模型
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1.3 通信系统的模型
信源
产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。
研究的主要问题是消息的统计特性和产生信息的速率。
信宿：信息的接收者
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
信道
传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。
信道的中心问题是研究信道的统计特性和传信能力，即信道容量。
信道的种类很多，可从传输途径，也可从信道的性质或其传送的信号情况来分类。
干扰源
系统各部分引入的干扰，包括衰落，多径，码间干扰，非线性失真，加性噪声，主要是统计特性。
消息从信源通过信道到信宿，如何有效、可靠地传输，是通信系统要解决的两个根本问题。
先说有效性（Validity）
消息若在信源中先去粗取精，则必能提高通信的有效性
用尽可能短的时间和尽可能少的设备来传输一定量的消息
对数字通信来说，即信源编码（Source Coding）要解决的主要问题
1.3 通信系统的模型
再说可靠性（Reliability）
信宿对接收到的“消息”若能够进行判断、评估，去伪存真的处理，则必能提高通信的可靠性
使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端
对数字通信来说，信道编码（Channel Coding）的主要任务就是解决这个问题。
1.3 通信系统的模型
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
1.3 通信系统的模型
通信系统模型方框图:
信源
信宿
信源
编码
加密
信源
译码
解密
信道
编码
信道
译码
信道
干扰
噪声
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
编码器
信源编码器：对信源输出进行变换，求得有效性；
信道编码器：对信源编码输出进行变换，提高抗干扰性，求得可靠性；
调制器：将信道编码输出变成适合信道传输的方式。
译码器
编码器的逆变换
中心问题是研究各种可实现的解调和译码方法
加密/解密
安全性，密钥
信息论在生物学、医学、经济、管理、图书情报等领域都有不同程度的应用
信息论在生物学中的应用
信息论在医学中的应用
信息论在管理科学中的应用
信息论在经济学中的应用
*
1.4 信息论的应用
*
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著
本课程的内容
信源
信宿
信道
加性噪声
乘性衰落
信源编码和信源解码
有效性，去除冗余
信道编码和信道解码
可靠性，添加冗余
加密/解密
安全性，密钥
网络通信
信源，信道
第2章 信源与信息熵
第4章 信息率失真函数
第3章 信道与信道容量
第5章 信源编码
第6章 信道编码
第7章 加密编码
第8章 网络信息理论简介
普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著