本书系统地介绍由香农理论发展而来的信息论的基本理论以及编码的理论和实现原理。内容主要包括信息论的数学基础，信息的基本概念和度量方法，无失真信源编码理论和实用无损编码方法，限失真信源编码理论和有损压缩编码方法，信道容量与信道编码理论和编码方法，最后介绍了信息论在统计学习领域、金融决策领域、经济学分析领域和自然语言处理领域等其他学科交叉结合的应用内容。
第1章 绪论
1．1 信息的基本概念
1．1．1 信息的不同定义
1．1．2 信息的特征
1．1．3 信息的性质
1．1．4 信息的分类
1．1．5 信息科学
1．2 信息论的起源、发展及研究内容
1．2．1 信息论的起源
1．2．2 信息技术的发展
1．2．3 信息论研究的主要内容
1．2．4 信息论的应用
1．3 编码理论概述
1．3．1 编码理论的基本概念
1．3．2 编码理论的发展
1．3．3 编码理论研究的内容和目的
习题
第2章 信息论的数学基础
2．1 概率论基本知识
2．1．1 随机事件与概率
2．1．2 随机变量及其分布
2．1．3 多维随机变量及其分布
2．1．4 数学期望与方差
2．2 随机过程基本知识
2．2．1 随机过程及其统计描述
2．2．2 随机过程的数字特征
2．3 马尔可夫链
2．3．1 马尔可夫过程及其概率分布
2．3．2 多步转移概率的确定
2．3．3 遍历性
2．4 抽象代数基本知识
2．4．1 群的基本概念
2．4．2 环的基本概念
2．4．3 域的基本概念及域上多项式
第3章 信源与信源熵
3．1 单符号离散信源
3．1．1 单符号离散信源的数学模型
3．1．2 概率知识基础
3．1．3 单符号离散信源的信息量
3．1．4 互信息量和条件互信息量
3．1．5 单符号离散信源的信源熵
3．1．6 信源熵的基本性质和定理
3．1．7 平均互信息量
3．1．8 各种熵之间的关系
3．2 多符号离散平稳信源
3．2．1 离散无记忆扩展信源
3．2．2 离散平稳信源的数学定义
3．2．3 离散平稳信源的信源熵和极限熵
3．3 马尔可夫信源
3．3．1 马尔可夫（Markov）链
3．3．2 马尔可夫信源
3．3．3 马尔可夫信源熵
3．4 连续信源
3．4．1 连续信源的熵
3．4．2 几种特殊连续信源的熵
3．4．3 连续熵的性质及最大连续熵定理
习题
第4章 无失真信源编码
4．1 信源编码概述
4．1．1 信源编码的定义
4．1．2 克拉夫特（Kraft）不等式
4．2 定长编码
4．2．1 定长编码定理
4．2．2 定长编码方法
4．3 变长编码
4．3．1 变长编码定理
4．3．2 变长编码方法
4．4 几种实用的无失真信源编码
4．4．1 香农编码
4．4．2 费诺编码
4．4．3 哈夫曼编码
4．4．4 游程编码
4．4．5 冗余位编码
4．4．6 算数编码
4．4．7 字典编码
习题
第5章 限失真信源编码
5．1 失真测度与信息率失真函数
5．1．1 平均失真度
5．1．2 信息率失真函数的定义
5．1．3 信息率失真函数的性质
5．2 信息率失真函数的计算
5．2．1 离散信源的率失真函数的计算
5．2．2 连续信源的率失真函数
5．3 限失真信源编码定理
5．4 限失真信源编码简介
5．4．1 语音信号的预测编码
5．4．2 图像与视频信号的预测编码
习题
第6章 信道及信道容量
6．1 信道模型和分类
6．1．1 一般信道的数学模型
6．1．2 信道的分类
6．1．3 信道容量的定义
6．2 特殊的单符号离散信道的信道容量
6．2．1 离散无噪信道的信道容量
6．2．2 强对称离散信道的信道容量
6．2．3 对称信道的信道容量
6．2．4 准对称离散信道的信道容量
6．2．5 一般离散信道的信道容量
6．3 多符号离散信道
6．3．1 多符号离散信道的数学模型
6．3．2 离散无记忆信道的信道容量
6．4 多用户信道及连续信道
6．4．1 多用户信道
6．4．2 连续信道
习题
第7章 信道编码
7．1 信道编码的基本概念
7．1．1 信道编码的意义
7．1．2 信道编码的分类
7．1．3 信道编码的基本原理
7．2 信道编码定理
7．2．1 译码规则及错误概率
7．2．2 信道编码定理
7．2．3 检错与纠错原理
7．2．4 检错与纠错方式和能力
7．3 线性分组码
7．3．1 概述
7．3．2 线性分组码的生成矩阵和一致校验矩阵
7．3．3 线性码的纠错能力
7．3．4 线性分组码的译码
7．3．5 汉明码
7．4 循环码
7．4．1 循环码的定义及多项式表示
7．4．2 循环码的生成矩阵和一致校验矩阵
7．4．3 循环码的编码
7．4．4 循环码的译码
第8章 信息论方法的应用
8．1 信息论在统计中的应用
8．1．1 EM算法
8．1．2 互熵与Fisher矩阵
8．2 组合投资决策（Portfolio）中的应用
8．2．1 组合投资决策问题
8．2．2 量优组合投资决策的计算
8．3 最大熵原理在经济学中的应用
8．3．1 最大熵建模基本原理
8．3．2 最大熵统计模型的优缺点
8．3．3 封闭经济体中货币量的分布
8．3．4 封闭经济体中财富的分布
8．4 在自然语言中应用
8．4．1 英语信源的熵和剩余度
8．4．2 汉语信源的熵和剩余度
附录：模拟试题
模拟试题一
模拟试题一答案
模拟试题二
模拟试题二答案
模拟试题三
模拟试题三答案
模拟试题四
模拟试题四答案
参考文献
书单推荐
