信息论基础pdf电子书版本下载

点此进入-本书在线PDF格式电子书下载【推荐-云解压-方便快捷】直接下载PDF格式图书。移动端-PC端通用
下载压缩包 [复制下载地址] 温馨提示：（请使用BT下载软件FDM进行下载）软件下载地址页

信息论基础PDF格式电子书版下载

下载的文件为RAR压缩包。需要使用解压软件进行解压得到PDF格式图书。

建议使用BT下载工具Free Download Manager进行下载,简称FDM(免费,没有广告,支持多平台）。本站资源全部打包为BT种子。所以需要使用专业的BT下载软件进行下载。如 BitComet qBittorrent uTorrent等BT下载工具。迅雷目前由于本站不是热门资源。不推荐使用！后期资源热门了。安装了迅雷也可以迅雷进行下载！

（文件页数 要大于 标注页数，上中下等多册电子书除外）

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

1 绪论 1

1.1 信息、信息科学和信息论 1

1.2 信息论研究的对象、目的和内容 2

2 随机变量的信息度量 5

2.1 自(互)信息和条件自(互)信息 5

2.1.1 自信息 5

2.1.2 条件自信息 7

2.1.3 互信息 8

2.1.4 条件互信息 9

2.2 离散随机变量的平均自信息(熵) 9

2.2.1 离散随机变量平均自信息的定义 9

2.2.2 离散随机变量熵的性质 11

2.2.3 熵函数形式的惟一性 13

2.2.4 离散随机变量的条件熵与联合熵 14

2.3 离散随机变量的平均互信息 20

2.3.1 离散随机变量平均互信息的定义 20

2.3.2 离散随机变量平均互信息的性质 21

2.3.3 马尔可夫链和数据处理不等式 22

2.4 离散随机变量熵和互信息的凸性 23

2.4.1 凸函数的概念和性质 23

2.4.2 熵函数的凸性 25

2.4.3 互信息的凸性 26

2.5 连续随机变量的互信息和微分熵 27

2.5.1 连续随机变量的互信息 28

2.5.2 连续随机变量的微分熵 29

2.5.3 微分熵的极大化 30

2.5.4 随机变量函数的微分熵 32

习题2 33

3 离散信源及其信息度量 37

3.1 信源的数学模型及分类 37

3.2 离散无记忆信源的扩展信源 41

3.3 离散平稳有记忆信源 43

3.3.1 离散平稳有记忆信源的数学定义 43

3.3.2 离散平稳有记忆信源的熵 44

3.3.3 离散平稳有记忆信源的极限熵 47

3.4 马尔可夫信源 50

3.4.1 马尔可夫信源的定义 50

3.4.2 马尔可夫信源熵的计算 54

3.5 信源的相关性和剩余度 62

习题3 64

4 离散信源的无失真编码 67

4.1 信源编码的概念 67

4.2 离散无记忆信源的渐近等同分割性和等长编码定理 68

4.2.1 等长码 68

4.2.2 渐近等同分割性 69

4.2.3 等长编码定理 72

4.3 离散无记忆信源的不等长编码定理 75

4.3.1 惟一可译码、即时码和前缀码 75

4.3.2 克拉夫特不等式 78

4.3.3 不等长编码定理 81

4.4.1 霍夫曼编码 84

4.4 离散无记忆信源的不等长编码方法 84

4.4.2 香农编码 88

4.4.3 费诺编码 89

4.4.4 香农-费诺-埃利斯编码 90

4.4.5 算术编码 92

4.5 离散平稳信源和马尔可夫信源的编码定理 94

4.5.1 离散平稳信源的编码定理 94

4.5.2 马尔可夫信源的编码定理 95

习题4 98

5 信道及信道容量 101

5.1 信道的数学模型及分类 101

5.2 离散无记忆信道及其容量 102

5.3.1 离散无记忆信道的容量定理 111

5.3 离散无记忆信道容量的计算方法 111

5.3.2 对称和准对称信道容量的计算 114

5.3.3 转移概率矩阵可逆的信道容量的计算 118

5.3.4 信道容量的迭代解法 122

5.4 信道的组合 123

5.4.1 积信道(平行组合信道) 124

5.4.2 和信道 125

5.4.3 级联信道(串联信道) 127

5.5 达到信道容量时输入输出字母概率分布的惟一性 130

5.6 连续信道及其容量 133

习题5 137

6.1 错误概率和译码规则 141

6 有噪信道编码 141

6.2 错误概率与编码方法 146

6.2.1 重复编码对错误概率的影响 146

6.2.2 输入符号个数对错误概率的影响 148

6.2.3 汉明距离 149

6.3 有噪信道编码定理 151

6.3.1 联合典型序列 151

6.3.2 有噪信道编码定理 155

6.3.3 有噪信道编码逆定理 157

6.3.4 信源信道联合编码 160

习题6 161

7.1.1 失真度和平均失真度 164

7.1 离散无记忆信源的信息率失真函数 164

7 信息率失真函数和限失真信源编码 164

7.1.2 信息率失真函数的定义 166

7.1.3 信息率失真函数的性质 170

7.2 离散无记忆信源信息率失真函数的计算 173

7.2.1 互信息达到信息率失真函数的充分必要条件 173

7.2.2 信息率失真函数的参数表示及计算 177

7.2.3 信息率失真函数的迭代算法 184

7.3 连续信源的信息率失真函数 185

7.3.1 连续信源信息率失真函数的定义及计算 185

7.3.2 差值失真准则下信息率失真函数的计算 187

7.4 限失真信源编码定理 194

习题7 198

参考文献 200