信息基础理论解析

本书共分八章。di一章主要介绍信息论中重要的基本概念和相关的知识背景。第二章重点分析了信息的度量问题。第三章、第四章分别讨论了信源和信道问题。前四章是后续章节讨论香农三大定理的基础。第五章重点介绍了香农di一定理（无失真变长信源编码定理）以及香农第三定理（保真度准则下的限失真信源编码定理），由于都是针对信源编码，故将这两部分内容融入一章中。第六章重点讨论有噪信道编码定理及几种典型的信道编码方法。第七章介绍了信息传输网络化理论。第八章介绍了信息基本理论在各个领域内的应用。

李迎春、李长青等本书作者长期从事“信息论基础理论及应用”的教学工作，教学经验丰富。

目录

第1章 信息论概述 / 1

1.1　信息论与信息科学 / 3

1.2　信息的概念与性质 / 5

1.2.1　信息的概念 / 5

1.2.2　信息的性质 / 9

1.2.3　信息、消息及信号 / 9

1.3　信息论研究的对象、目的和内容 / 11

1.3.1　信息论研究的对象 / 11

1.3.2　信息论研究的目的 / 13

1.3.3　信息论研究的内容 / 14

1.4　信息论的发展历程 / 16

1.4.1　信息论的酝酿 / 16

1.4.2　信息论的建立 / 18

1.4.3　信息论的发展 / 19

1.4.4　香农及其贡献 / 19

第2章 信息的统一度量 / 21

2.1　自信息 / 24

2.1.1　自信息 / 24

2.1.2　条件自信息 / 26

2.2　信息熵 / 26

2.2.1　熵的定义 / 27

2.2.2　熵的性质 / 30

2.2.3　联合熵 / 34

2.2.4　条件熵 / 35

2.3　互信息 / 36

2.3.1　互信息的定义 / 36

2.3.2　互信息的性质 / 37

2.4　平均互信息 / 38

2.4.1　平均互信息的定义 / 39

2.4.2　平均互信息的性质 / 40

2.5　各种信息度量之间的关系 / 45

2.6　扩展信源的信息度量 / 46

2.7　连续随机变量的信息度量 / 48

第3章 信源 / 57

3.1　信源的分类 / 60

3.2　信源的数学描述 / 61

3.2.1　用随机变量描述离散消息 / 61

3.2.2　用随机矢量描述离散序列 / 62

3.2.3　用随机过程描述波形信源 / 64

3.3　马尔可夫信源 / 65

3.3.1　马尔可夫信源定义 / 65

3.3.2　状态转移概率及描述 / 65

3.3.3　切普曼—柯尔莫戈洛夫方程 / 68

3.3.4　马尔可夫链的状态分类 / 69

3.3.5　马尔可夫链的遍历性 / 70

3.3.6　离散马尔可夫信源的熵 / 70

3.4　信源的相关性和剩余度 / 74

第4章 信　道 / 79

4.1　信道的分类 / 82

4.2　信道的数学描述 / 85

4.2.1　离散信道模型 / 86

4.2.2　连续信道模型 / 89

4.2.3　波形信道模型 / 90

4.3　信道疑义度和噪声熵 / 91

4.4　信道的组合 / 92

4.4.1　串联信道 / 92

4.4.2　并联信道 / 95

4.5　信道容量 / / 96

4.5.1　信道容量的定义 / 97

4.5.2　简单离散信道的信道容量 / 98

4.5.3　对称离散信道的信道容量 / 101

4.5.4　组合信道的信道容量 / 104

4.5.5　一般离散信道的信道容量 / 106

4.5.6　离散无记忆信道容量的迭代算法 / 118

4.5.7　连续型信道的信道容量 / 126

4.6　信源与信道的匹配 / 136

第5章 信源编码 / 143

5.1　信源编码的基本概念 / 146

5.2　唯一可译性的判决问题 / 151

5.2.1　唯一可译性的存在性判决 / 151

5.2.2　唯一可译码判断准则 / 152

5.3　无失真信源编码 / 154

5.3.1　等长码的编码长度 / 154

5.3.2　等长无失真信源编码定理 / 156

5.3.3　变长无失真信源编码定理（香农第一定理） / 160

5.3.4　变长码的常用编码方法 / 168

5.4　限失真信源编码 / 176

5.4.1　失真测度 / 176

5.4.2　信息率失真函数 / 181

5.4.3　信息率失真函数的计算 / 187

5.4.4　限失真信源编码定理（香农第三定理） / 188

第6章 信道编码 / 199

6.1　信道编码的基本概念 / 202

6.1.1　编码信道 / 202

6.1.2　译码准则 / 202

6.1.3　错误概率 / 203

6.1.4　码字空间 / 204

6.1.5　汉明距离 / 204

6.1.6　纠检错能力 / 205

6.2　两种典型的译码准则 / 206

6.2.1　最大后验概率准则 / 206

6.2.2　最大似然译码准则 / 207

6.3　有噪信道编码定理（香农第二定理） / 210

6.4　信源信道联合编码定理 / 211

6.5　信道编码 / 212

6.5.1　奇偶校验码 / 213

6.5.2　简单重复码 / 216

6.5.3　线性分组码 / 218

6.5.4　循环码 / 220

6.5.5　卷积码 / 223

第7章 网络信息论 / 235

7.1　网络信道的分类 / 239

7.1.1　多源接入信道 / 239

7.1.2　广播信道 / 240

7.1.3　中继信道 / 240

7.1.4　串扰信道 / 241

7.1.5　反馈信道 / 241

7.2　网络信道的容量 / 242

7.3　网络编码的基本原理 / 250

7.3.1　网络编码相关概念 / 251

7.3.2　网络编码的优点 / 252

7.3.3　网络编码的构造算法及发展方向 / 258

7.3.4　网络编码的适用条件 / 265

第8章 信息论的应用 / 267

8.1　生物信息学 / 269

8.1.1　核酸序列分析 / 271

8.1.2　蛋白质序列分析 / 271

8.1.3　生物医学成像 / 272

8.2　信息光学 / 279

8.2.1　光学全息 / 281

8.2.2　光学信息处理 / 283

8.2.3　光通信 / 286

8.3　信息论与密码学 / 288

8.3.1　保密系统的数学模型 / 290

8.3.2　传统加密技术 / 291

8.3.3　现代加密技术 / 295

8.4　经济信息学 / 298

8.4.1　香农的投资之路 / 299

8.4.2　凯利公式 / 302

8.4.3　优化投资组合——马科维茨理论 / 304

8.4.4　优化投资组合的熵理论 / 306

8.5　信息论与管理 / 307

8.5.1　管理的最简信息模型 / 308

8.5.2　复杂管理信息模型构造 / 312

第1章

信息论概述

信息基础理论解析

“信息就是信息，既不是物质，也不是能量。信息是人们在适应

客观世界，并使这种适应被客观世界感受的过程中与客观世界进行交换

的内容的名称。”

——控制论创始人诺伯特·维纳

“信息是用来减少随机不确定性的东西。”

——信息论创始人克劳德·艾尔伍德·香农

人类经历了六千年的农业社会和近三百年的工业社会，现在已步入第三

个文明社会——信息社会。在信息社会里，信息就像空气一样充斥在我们这

个时代的政治、经济、文化和社会生活的方方面面。

社会信息化的一个典型技术标志就是信息网络的出现：计算机和通信设

备结合起来而构成的全球性通信网络，从根本上消除了距离对通信的限制。

社会信息化的另一个重要标志就是大多数人都从事或参与信息的生产、应用

和保障工作。

图1-1　信息网络连接的社会

第1章信息论概述

在19世纪以前，对信息的认识和利用一直处在原始和经验的状态。人

类真正自觉地认识信息问题并开始触及到信息的本质，是在20世纪40年

代以后。其中，理论上最主要的标志是香农的论文《通信的数学理论》

（Shannon，1948）和维纳的专著《控制论——动物和机器中的通信与控制问

题》（Wiener，1948）。正因为如此，一部关于人类认识和利用信息的历史

可以粗略地以1948年为界进行划分：在此之前，人类不自觉地认识和低水平

地利用信息；在此之后，人类才开始逐渐走向自觉地认识和高水平地利用信

息的阶段。

1.1　信息论与信息科学

信息论产生于上世纪40年代末，最早仅限于通信领域。由于现代自然科

学各门学科的相互联系、相互渗透，信息概念及理论超越通信领域运用于其

他学科。在上世纪60年代末至70年代初出现了信息科学。信息科学是在信息

论的基础上发展起来的，它涉及数学、通信理论、控制论、计算机科学、人

工智能、电子学和自动化技术以及物理学、生物学等多个领域，与哲学关系

也很密切。信息科学是一门多边缘的学科，亦称之为横断学科。

信息科学是以信息作为主要研究对象、以信息过程的运动规律作为主要

研究内容、以信息科学方法论作为主要研究方法、以扩展人的信息功能（全

部信息功能形成的有机整体就是智力功能）作为主要研究目标的一门科学。

信息科学研究内容包括：阐明信息的概念和本质（哲学信息论）；探讨

信息的度量和变换（基本信息论）；研究信息的提取方法（识别信息论）；

澄清信息的传递规律（通信理论）；探明信息的处理机制（智能理论）；探

究信息的再生理论（决策理论）；阐明信息的调节原则（控制理论）；完善

信息的组织理论（系统理论）等。

信息科学现在主要的研究课题集中在以下六个方面：

第一，信源理论和信息的获取，研究自然信息源和社会信息源，以及从

信息源提取信息的方法和技术。

第二，信息的传输、存储、检索、变换和处理。

第三，信号的测量、分析、处理和显示。

第四，模式信息处理，研究对文字、图像、声音等信息的处理、分类和

识别研制机器视觉系统和语音识别装置。

第五，知识信息处理，研究知识的表示、获取和利用，建立具有推理和

自动解决问题能力的知识信息处理系统即专家系统。

第六，决策和控制，在对信息的采集、分析、处理、识别和理解的基础

上做出判断、决策或控制，从而建立各种控制系统、管理信息系统和决策支

持系统。

信息科学的支柱理论包括信息论、系统论和控制论（信息科学的三论）。

1. 信息论

信息论是信息科学的前导，是一门用数理统计方法研究信息的度量、传

递和交换规律的科学，主要研究通信和控制系统中普遍存在着的信息传递的

共同规律，以及建立最佳地解决信息的获取、度量、变换、存储、传递等问

题的基础理论。

2. 控制论

控制论的创立者是美国科学家维纳，1948年他发表《控制论》一书，明

确提出控制论的两个基本概念——信息和反馈，揭示了信息与控制规律。控

制论是关于动物和机器中的控制和通信的科学，它研究各种系统共同控制规

律。在控制论中广泛采用功能模拟和黑箱方法。控制系统实质上是反馈控制

系统。负反馈是实现控制和使系统稳定工作的重要手段。控制论中，对系统

控制调节通过信息的反馈来实现。

3. 系统论

系统论的基本思想是把系统内各要素综合起来进行全面考察统筹，以求

整体最优化。整体性原则是其出发点，层次结构和动态原则是其研究核心。

综合化、有序化是其精髓。