信息论与编码【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

信息论与编码PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 绪论1

1.1 信息的概念1

1.1.1 什么是“信息”1

1.1.2 如何度量“信息”2

1.2 信息传输系统3

1.2.1 信息传输系统模型3

1.2.2 信息传输系统的性能指标6

1.3 信息论的研究内容7

1.3.1 基本信息论的研究内容7

1.3.2 一般信息论的研究内容7

1.3.3 广义信息论的研究内容8

1.4 信息论和编码理论的形成和发展8

习题10

第2章 信息的统计度量11

2.1 随机变量的统计特性11

2.1.1 随机变量的分类及其描述11

2.1.2 信源的统计特性14

2.1.3 信道的传输特性15

2.2 离散随机变量的自信息和信息熵18

2.2.1 自信息量18

2.2.2 信息熵19

2.2.3 信息熵的性质21

2.3 离散随机变量的联合自信息和联合熵22

2.3.1 联合自信息22

2.3.2 联合熵23

2.4 离散随机变量的条件自信息和条件熵24

2.4.1 条件自信息24

2.4.2 条件熵25

2.4.3 各类熵之间的关系26

2.5 离散随机变量的互信息和平均互信息29

2.5.1 互信息29

2.5.2 互信息的性质30

2.5.3 平均互信息31

2.5.4 平均互信息的性质33

2.5.5 平均互信息与各类熵之间的关系36

2.5.6 联合互信息和条件互信息37

2.5.7 信息处理定理38

2.6 连续随机变量的信息度量39

2.6.1 连续随机变量的熵39

2.6.2 连续随机变量的平均互信息42

本章小结43

习题44

第3章 离散信源和熵49

3.1 离散信源的分类49

3.2 离散信源的N次扩展信源50

3.2.1 N次扩展信源的数学模型50

3.2.2 离散信源的N次扩展信源的熵51

3.2.3 离散无记忆信源的N次扩展信源的熵51

3.3 离散平稳信源53

3.3.1 离散平稳信源的数学定义53

3.3.2 有限维离散平稳信源的条件熵54

3.3.3 二维离散平稳信源的平均符号熵56

3.3.4 离散平稳信源的极限熵57

3.3.5 计算极限熵的处理方法59

3.4 马尔可夫信源60

3.4.1 马尔可夫信源的描述60

3.4.2 齐次遍历的马尔可夫信源62

3.4.3 齐次遍历马尔可夫信源的极限熵64

3.5 信源的相关性和剩余度68

本章小结70

习题71

第4章 无失真信源编码74

4.1 信源编码的基本概念74

4.1.1 信源编码的数学模型74

4.1.2 信源编码的分类75

4.1.3 唯一可译码和即时码76

4.1.4 编码效率79

4.2 无失真信源编码定理81

4.2.1 无失真定长信源编码定理81

4.2.2 无失真变长信源编码定理86

4.3 常见的无失真信源编码方法87

4.3.1 香农（Shannon）码88

4.3.2 霍夫曼（Huffman）码89

4.3.3 费诺（Fano）码96

4.3.4 香农－费诺－埃利斯码97

4.3.5 算术码99

4.3.6 LZ码104

本章小结106

习题107

第5章 离散信道和信道容量110

5.1 离散信道的分类110

5.2 离散信道的数学模型111

5.3 信道容量113

5.3.1 信道的信息传输率113

5.3.2 信道容量的定义114

5.4 单符号离散信道及其信道容量116

5.4.1 典型信道的信道容量116

5.4.2 串联信道及其信道容量120

5.4.3 一般离散信道的信道容量121

5.4.4 信道容量的迭代算法128

5.5 多符号离散信道及其信道容量134

5.5.1 多符号离散信道的平均互信息134

5.5.2 离散无记忆信道的信道容量135

5.5.3 独立并联信道及其信道容量136

5.6 信源与信道的匹配136

本章小结137

习题138

第6章 有噪信道编码141

6.1 错误概率141

6.1.1 错误概率和译码规则141

6.1.2 错误概率与编码方法145

6.2 有噪信道编码定理146

6.3 联合信源信道编码定理148

6.4 信道编码的基本概念150

6.4.1 信道编码的分类150

6.4.2 线性分组码的检错和纠错能力151

6.4.3 最小汉明距离译码153

6.4.4 差错控制的三种方式154

6.4.5 差错控制的途径154

6.5 线性分组码155

6.5.1 线性分组码的编码156

6.5.2 线性分组码的译码162

6.5.3 完备码和汉明码167

6.5.4 对偶码168

6.5.5 扩展码、缩短码和删信码169

6.6 循环码171

6.6.1 循环码的码多项式172

6.6.2 循环码的生成多项式和生成矩阵173

6.6.3 循环码的监督多项式和监督矩阵176

6.6.4 循环码的编码电路178

6.6.5 循环码的伴随式180

6.6.6 循环码的译码电路183

6.6.7 CRC码186

6.7 BCH码和RS码187

6.7.1 有限域的基本知识187

6.7.2 二元BCH码196

6.7.3 多元BCH码和RS码201

6.8 卷积码203

6.8.1 卷积码的解析表示203

6.8.2 卷积码的图形描述210

6.8.3 卷积码的译码方法211

6.8.4 卷积码的特性214

6.8.5 删余卷积码215

6.8.6 递归型系统卷积码216

6.9 交织码217

6.10 级联码218

6.11 Turbo码219

6.11.1 Turbo编码219

6.11.2 Turbo译码220

6.12 LDPC码225

本章小结226

习题228

第7章 连续信源和连续信道233

7.1 连续信源和波形信源的信息度量233

7.1.1 一维连续信源的熵233

7.1.2 多维连续信源的熵234

7.1.3 波形信源的熵率236

7.2 连续信源的最大熵237

7.2.1 峰功率受限的连续信源238

7.2.2 平均功率受限的连续信源238

7.2.3 连续信源的熵功率240

7.3 连续信源熵的变换241

7.4 波形信道的分类和处理方法242

7.4.1 波形信道的分类242

7.4.2 波形信道的处理方法243

7.5 连续信道的平均互信息244

7.5.1 连续信道244

7.5.2 加性信道245

7.6 连续信道的信道容量246

7.6.1 一维高斯加性信道247

7.6.2 多维无记忆高斯加性信道248

7.7 波形信道的信道容量250

7.7.1 限带AWGN信道的容量250

7.7.2 香农公式的讨论251

7.8 连续信道编码定理253

本章小结254

习题255

第8章 限失真信源编码258

8.1 失真测度258

8.1.1 失真函数259

8.1.2 平均失真262

8.1.3 保真度准则262

8.2 信息率失真函数263

8.2.1 信息率失真函数的定义264

8.2.2 R（D）函数的性质264

8.2.3 常见信源的R（D）函数267

8.3 限失真信源编码定理268

8.4 R（D）函数的计算270

8.4.1 R（D）函数的参量表示法270

8.4.2 离散对称信源的R（D）函数273

8.5 联合限失真信源信道编码定理278

本章小结280

习题280

第9章 网络信息论初步283

9.1 网络信源283

9.2 网络信道285

9.2.1 多址接入信道285

9.2.2 广播信道287

9.3 网络信源和网络信道的联合／分离288

9.4 网络编码289

9.4.1 网络编码原理289

9.4.2 线性网络编码原理290

9.4.3 网络编码的优势291

9.5 协作通信292

9.5.1 中继网络中协作策略及其容量294

9.5.2 多中继高斯信道的容量296

附录A 詹森不等式及其应用299

A1 詹森不等式299

A2 利用詹森不等式证明的性质和定理299

附录B 信息度量的常用公式305

参考文献308