信息论基础PDF|Epub|txt|kindle电子书版本网盘下载

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 绪论1

1.1 信息、信息科学和信息论1

1.2 信息论研究的对象、目的和内容2

2 随机变量的信息度量5

2.1 自(互)信息和条件自(互)信息5

2.1.1 自信息5

2.1.2 条件自信息7

2.1.3 互信息8

2.1.4 条件互信息9

2.2 离散随机变量的平均自信息(熵)9

2.2.1 离散随机变量平均自信息的定义9

2.2.2 离散随机变量熵的性质11

2.2.3 熵函数形式的惟一性13

2.2.4 离散随机变量的条件熵与联合熵14

2.3 离散随机变量的平均互信息20

2.3.1 离散随机变量平均互信息的定义20

2.3.2 离散随机变量平均互信息的性质21

2.3.3 马尔可夫链和数据处理不等式22

2.4 离散随机变量熵和互信息的凸性23

2.4.1 凸函数的概念和性质23

2.4.2 熵函数的凸性25

2.4.3 互信息的凸性26

2.5 连续随机变量的互信息和微分熵27

2.5.1 连续随机变量的互信息28

2.5.2 连续随机变量的微分熵29

2.5.3 微分熵的极大化30

2.5.4 随机变量函数的微分熵32

习题233

3 离散信源及其信息度量37

3.1 信源的数学模型及分类37

3.2 离散无记忆信源的扩展信源41

3.3 离散平稳有记忆信源43

3.3.1 离散平稳有记忆信源的数学定义43

3.3.2 离散平稳有记忆信源的熵44

3.3.3 离散平稳有记忆信源的极限熵47

3.4 马尔可夫信源50

3.4.1 马尔可夫信源的定义50

3.4.2 马尔可夫信源熵的计算54

3.5 信源的相关性和剩余度62

习题364

4 离散信源的无失真编码67

4.1 信源编码的概念67

4.2 离散无记忆信源的渐近等同分割性和等长编码定理68

4.2.1 等长码68

4.2.2 渐近等同分割性69

4.2.3 等长编码定理72

4.3 离散无记忆信源的不等长编码定理75

4.3.1 惟一可译码、即时码和前缀码75

4.3.2 克拉夫特不等式78

4.3.3 不等长编码定理81

4.4.1 霍夫曼编码84

4.4 离散无记忆信源的不等长编码方法84

4.4.2 香农编码88

4.4.3 费诺编码89

4.4.4 香农-费诺-埃利斯编码90

4.4.5 算术编码92

4.5 离散平稳信源和马尔可夫信源的编码定理94

4.5.1 离散平稳信源的编码定理94

4.5.2 马尔可夫信源的编码定理95

习题498

5 信道及信道容量101

5.1 信道的数学模型及分类101

5.2 离散无记忆信道及其容量102

5.3.1 离散无记忆信道的容量定理111

5.3 离散无记忆信道容量的计算方法111

5.3.2 对称和准对称信道容量的计算114

5.3.3 转移概率矩阵可逆的信道容量的计算118

5.3.4 信道容量的迭代解法122

5.4 信道的组合123

5.4.1 积信道(平行组合信道)124

5.4.2 和信道125

5.4.3 级联信道(串联信道)127

5.5 达到信道容量时输入输出字母概率分布的惟一性130

5.6 连续信道及其容量133

习题5137

6.1 错误概率和译码规则141

6 有噪信道编码141

6.2 错误概率与编码方法146

6.2.1 重复编码对错误概率的影响146

6.2.2 输入符号个数对错误概率的影响148

6.2.3 汉明距离149

6.3 有噪信道编码定理151

6.3.1 联合典型序列151

6.3.2 有噪信道编码定理155

6.3.3 有噪信道编码逆定理157

6.3.4 信源信道联合编码160

习题6161

7.1.1 失真度和平均失真度164

7.1 离散无记忆信源的信息率失真函数164

7 信息率失真函数和限失真信源编码164

7.1.2 信息率失真函数的定义166

7.1.3 信息率失真函数的性质170

7.2 离散无记忆信源信息率失真函数的计算173

7.2.1 互信息达到信息率失真函数的充分必要条件173

7.2.2 信息率失真函数的参数表示及计算177

7.2.3 信息率失真函数的迭代算法184

7.3 连续信源的信息率失真函数185

7.3.1 连续信源信息率失真函数的定义及计算185

7.3.2 差值失真准则下信息率失真函数的计算187

7.4 限失真信源编码定理194

习题7198

参考文献200