解析信息论与编码
作 者： 李忠源
出版时间： 2015
内容简介
本书介绍信息论的基本理论以及编码的理论和实现原理，重点讨论了信息与信息熵量、平均互信息量、多符号离散信源、多符号离散无记忆信道、连续信源与连续信道、无失真信源编码与香农第一定理、有噪信道的编码、信源压缩编码与信息率失真函数、信道的检纠错编码等。本书可供专业技术人员参考，也可作为一般大学本科和大专生的教材。
目录
第1章 信息概念与信息熵1.1 信息概念的引入与自信息1.1.1 从通信有效性的角度提出狭义信息的概念1.1.2 自信息1.2 单符号离散信源的信息熵1.3 信息熵的性质习题第2章 单符号离散信道和平均交互信息量2.1 单符号离散信道的数学模型2.2 信息的流动及其与通信可靠性的关系2.3 平均交互信息量2.4 平均交互信息量的性质2.5 单符号离散信道的信道容量2.5.1 信道容量的定义2.5.2 离散无噪信道的信道容量2.5.3 对称信道的信道容量2.5.4 用计算机辅助计算信道容量习题第3章 多符号离散信源和信道3.1 多符号离散信源的消息符号3.2 多符号离散无记忆信源3.3 多符号离散平稳有记忆信源3.4 离散平稳有记忆信源的数学模型及其极限熵3.4.1 离散平稳有记忆信源的数学模型3.4.2 多符号离散平稳有记忆信源的熵3.5 马尔可夫链与马尔可夫信源3.5.1 马尔可夫链3.5.2 相关长度有限的多符号离散平稳信源与马尔可夫链3.6 多符号离散信道3.6.1 离散无记忆信道的扩展信道3.6.2 独立并列信道的信道容量习题第4章 连续信源和连续信道4.1 单变量连续信源4.1.1 单变量连续信源的数学模型及其离散化4.1.2 单变量连续信源的相对熵及其特性4.1.3 相对熵的最大熵值4.2 单变量连续信道4.2.1 单变量连续信道的数学模型及其平均交互信息量4.2.2 单变量连续信道的信道容量和高斯加性信道4.3 多变量连续信源与信道4.3.1 多变量连续信源4.3.2 多变量连续信道4.3.3 多变量高斯白噪声加性连续信道习题第5章 无失真信源编码5.1 对信源编码的要求及单义可译码5.1.1 信源编码的过程及对无失真信源编码的要求5.1.2 单义可译码5.2 即时码及用树图构码的方法5.3 单义可译定理5.3.1 必要性的证明5.3.2 充分性证明5.4 无失真信源编码的有效性和香农第一定理5.4.1 平均码长及其与信息熵的关系5.4.2 单符号离散无记忆信源的平均码长界限定理5.4.3 多符号离散信源编码的极限平均码长5.5 香农第一定理和数据压缩5.5.1 香农第一定理5.5.2 无失真信源编码定理与数据压缩5.6 霍夫曼编码5.7 算术编码习题第6章 有噪信道的编码译码6.1 信道译码6.1.1 信道译码与译码规则6.1.2 平均错译概率6.1.3 最大后验概率译码准则6.2 信道编码6.3 信道分组编码的检纠错能力和码字间最小汉明距离的关系6.4 信息流理论与香农第二定理6.4.1 信道等效信息流模型6.4.2 等效信息流分析与香农第二定理习题第7章 信息率失真函数7.1 信源失真编码与信道的关系7.2 失真函数和平均失真度7.3 信息率失真函数的定义及其性质7.3.1 信息率失真函数月（D）的定义7.3.2 尺（D）函数的定义域及其性质7.4 信息率失真函数的其他应用习题第8章 信道检纠错编码8.1 分组码概念8.2 线性分组码的编码8.3 线性分组码的译码8.4 汉明码8.5 循环码8.5.1 循环码及其多项式表示8.5.2 系统循环码的编码和译码8.6 卷积码8.6.1 卷积码编码器的一般结构8.6.2 卷积码的编码过程及解析表示8.6.3 卷积码编码过程的图示法8.6.4 卷积码的维特比译码习题附录A 凸函数和詹森不等式A.1 凸域A.2 凸函数A.3 詹森不等式附录B 信道编码的代数知识B.1 域的概念B.2 线性空间和矩阵参考文献