信息论基础

图书简介：

本书重点介绍由香农理论发展而来的信息论的基本理论以及编码理论。全书共分8章，在介绍有关信息度量的基础上，重点讨论了信源熵、信道容量和率失真函数，以及无失真信源编码、限失真信源编码、信道编码和密码学中的信息理论，并简单介绍了网络信息论。

本书注重概念，采用通俗的文字，联系目前实际通信系统，用较多的例题和图示阐述了基本概念、基本理论及实现原理，尽量减少繁杂的公式定理证明。在各章的最后还附有小结和大量习题，书后附有习题答案，便于读者学习，加深对概念的理解。

本书可作为理工科高等院校电子、信息、通信工程及相关专业的本科学生的教材，亦可供信息、通信、电子工程等有关专业的科技人员作为参考书。

前言：

当前信息产业发展得很快，需要大量信息、通信、电子工程类专业的人才，而信息理论是这些专业的基础，必须掌握，它可以指导理论研究和工程应用。

由于信息论介绍的是信息论基础和编码理论，内容本身理论性很强，现有的一些教材除了介绍理论和公式外，都用了大量篇幅来证明这些理论和公式，这些用做研究生教材是比较适合的。而作为电子、信息、通信工程的本科生及相关专业的工程技术人员，由于他们理论基础的不足以及实际应用的需要，不可能花很多精力去研读那些在他们看来是非常难懂而且枯燥乏味的证明，迫切需要一本介绍有关信息理论的基本知识，且与实际应用紧密联系的书籍，本书就是出于这样的目的而编写的。

本书共分8章，第1章是绪论。第2章介绍信息论的一些基本概念，包括自信息量、条件自信息量、互信息量、条件互信息量、平均互信息量、相对熵、单符号熵、随机序列的熵、熵的性质以及连续信源熵、最大熵定理等，对信源的信息给出定量描述，并解释了冗余度的由来及作用。这一章是后续章节的基础。

第3章介绍信道的分类及其表示参数，讨论各种信道能够达到的最大传输速率，即信道的容量及其计算方法，并讨论了信源与信道的匹配问题。

第4章介绍失真函数和信息率失真函数的定义及性质，给出了在一定失真限度内信源必须输出的最小传输速率。

第5章介绍信源编码，首先给出了无失真信源编码定理和限失真信源编码定理，其中无失真信源编码定理包括定长编码定理和变长编码定理，并详细阐述了最佳无失真编码中的香农码、费诺码和哈夫曼码的编码方法及其性能比较。

第6章介绍信道编码，分析错误概率与译码规则和编码方法的关系，介绍了两种典型的译码规则，从平均差错率导出了信道编码定理，并简单介绍了纠错编码的基本知识，以及联合信源信道编码定理。

第7章介绍密码体制的基础知识及其与熵的关系，讨论系统保密的理论要求和实际要求。

第8章介绍网络信息论的基本思想和部分结论，首先讨论网络信道的几种类型及其信道容量域，然后分析网络中相关信源的信源编码问题。

本书注重基本概念，用较通俗的文字解释其物理意义，辅以一定的例题和图示说明，不再用繁杂的公式来证明这些早已非常成熟的公理，联系当前实际通信技术来讲述，研读本书后使读者概念清晰，可有目标地将基本概念应用于实际工作中。

本书在编写的过程中，得到了张宗橙教授、徐澄圻教授的大力帮助，在此表示衷心的感谢。

限于编者的水平，书中不妥或谬误之处难免，恳请广大读者提出宝贵意见，以便进一步完善。

编者2008年12月

 



目录

第1章绪论

1.1信息论的形成和发展

1.2信息理论研究的内容

1.3通信系统的模型

1.4信息论的应用

思考题

第2章信源与信源熵

2.1信源的描述与分类

2.1.1无记忆信源

2.1.2有记忆信源

2.1.3马尔可夫信源

2.2离散信源熵和互信息

2.2.1自信息量

2.2.2离散信源熵

2.2.3互信息

2.2.4数据处理中信息的变化

2.2.5相对熵

2.2.6熵的性质

2.3离散序列信源的熵

2.3.1离散无记忆信源的序列熵

2.3.2离散有记忆信源的序列熵

2.4连续信源的熵与互信息

2.4.1幅度连续的单个符号信源熵

2.4.2波形信源的熵

2.4.3最大熵定理

2.5冗余度

本章小结

习题

第3章信道与信道容量

3.1信道的基本概念

3.1.1信道的分类

3.1.2信道参数

3.1.3信道容量的定义

3.2离散单个符号信道及其容量

3.2.1无干扰离散信道

3.2.2对称离散无记忆信道

3.2.3准对称离散无记忆信道

3.2.4一般离散无记忆信道

3.3离散序列信道及其容量

3.4连续信道及其容量

3.4.1连续单符号加性信道

3.4.2多维无记忆加性连续信道

3.4.3限时限频限功率加性高斯白噪声信道

3.5多输入多输出信道及其容量

3.5.1MIMO信道模型

3.5.2MIMO信道容量

3.6信源与信道的匹配

本章小结

习题

第4章信息率失真函数

4.1平均失真和信息率失真函数

4.1.1失真函数

4.1.2平均失真

4.1.3信息率失真函数R(D)

4.1.4信息率失真函数的性质

4.1.5信息率失真函数与信道容量的比较

4.2离散信源和连续信源的R（D）计算

本章小结

习题

第5章信源编码

5.1编码的定义

5.2无失真信源编码

5.2.1定长编码定理

5.2.2变长编码定理

5.2.3最佳变长编码

5.3限失真信源编码定理

本章小结

习题

第6章信道编码

6.1差错概率与译码规则

6.2差错概率与编码方法

6.3平均差错概率与信道编码定理

6.3.1译码错误概率的上限

6.3.2信道编码定理

6.3.3减小差错概率的途径

6.4差错控制编码基础

6.4.1纠错码分类

6.4.2差错控制系统分类

6.4.3码距与纠错能力

6.4.4线性分组码简介

6.5联合信源信道编码定理

本章小结

习题

第7章加密编码

7.1加密编码中的基本概念

7.2加密编码中的熵概念

7.3保密系统的实际要求

第8章网络信息理论简介

8.1概论

8.2网络信道的分类

8.3网络信道的信道容量域

8.3.1离散多址接入信道

8.3.2高斯多址接入信道

8.3.3广播信道

8.4网络中相关信源的信源编码

8.4.1相关信源编码

8.4.2具有边信息的信源编码

本章小结

习题

附录本书所用符号及含义

部分习题参考答案

参考文献