信息论基础及应用
出版时间： 2015内容简介
本书是作者从事信息论、纠错编码理论近30年的教学和科研实践的积累，在吸收国内外优秀教材优点的基础上，结合现代信息技术的教学需求，进行优化整合、改进而成的。全书重点介绍信息处理的理论基础以及实现原理与方法，共6章，内容包括：信息论的起源、发展及研究内容；Shannon信息论的3个基本概念：信源熵、信道容量和信息率失真函数，以及与这3个基本概念相对应的3个编码定理：无失真信源编码定理、限失真信源编码定理和有噪信道编码定理；通信系统的有效性和可靠性编码：信源编码（即压缩编码）和信道编码（即纠错编码）。为了便于教学和读者自学，每章附有大量的思考题和习题。本书可以作为高等院校通信工程、电子信息工程、计算机科学与技术、电子科学与技术、自动化、信息与计算科学等相关专业的本科生教材或教学参考书，也可以作为低年级研究生的教学参考书，还可供科研院所从事信息科学理论、技术和方法研究的科研及工程技术人员参考。出版说明
前言
第1章概论
1.1通信与信息的一般概念
1.1.1信息、消息和信号
1.1.2Shannon信息
1.1.3通信系统模型
1.2信息论研究的主要内容和意义
1.3Shannon信息论的观点与方法
*1.4信息理论与信息科学的发展历程
*1.5信息的再认识
1.5.1信息的特性
1.5.2信息的其他定义
1.5.3信息的分类
科学家小传——C.E.Shannon
思考题
第2章信源及其信息的统计度量
2.1信源的数学模型和分类
2.1.1概率论符号约定和概率知识基础
2.1.2信源的数学模型
2.1.3信源的分类
2.2随机事件的信息
2.2.1随机事件的自信息和条件自信息
2.2.2随机事件的互信息和条件互信息
2.3离散信源的熵
2.3.1信源熵
2.3.2条件熵
2.3.3联合熵（共熵）
2.3.4熵函数的性质
*2.3.5加权熵的概念及基本性质
2.4离散信源的平均互信息
2.4.1平均互信息
2.4.2平均互信息的性质
2.4.3各类熵之间的关系
2.5离散序列信源的熵
2.5.1离散无记忆序列信源的熵
2.5.2离散有记忆序列信源的熵
*2.5.3马尔可夫信源的熵
2.6连续信源熵和互信息
2.6.1连续信源的表述
2.6.2基本连续信源的熵
2.6.3多维连续信源和波形信源的熵
2.6.4连续信源熵的性质和**熵定理
2.7冗余度和熵功率
2.7.1离散信源的冗余度和自然语言的熵
2.7.2连续信源的熵功率
思考题
习题
第3章信道及其容量
3.1信道的数学模型和分类
3.1.1信道的分类
3.1.2离散信道的数学模型
3.1.3连续信道的数学模型
3.2信息传输率与信道容量
3.2.1信道疑义度、噪声熵和信息传输率
3.2.2信道容量的定义
3.3离散信道的信道容量
3.3.1特殊离散信道的信道容量
3.3.2离散对称信道的信道容量
3.3.3离散准对称信道的信道容量
3.3.4一般离散信道的信道容量
3.4离散序列信道的数学模型及其信道容量
3.4.1离散序列信道的数学模型
3.4.2离散序列信道的信道容量
*3.5组合信道的信道容量
3.5.1串联信道及其信道容量和数据处理定理
3.5.2并联信道及其信道容量
3.6连续信道及其信道容量
3.6.1单符号高斯加性信道
3.6.2限带高斯白噪声加性波形信道
3.7信源与信道的匹配
思考题
习题
第4章无失真信源编码
4.1信源编码的基本概念
4.1.1信源编码器
4.1.2信源编码的基本码型
4.1.3平均码长和编码效率
4.1.4信源编码的树图表示
4.1.5Kraft不等式
*4.1.6**可译变长码的判定法
4.2等长编码和等长信源编码定理
4.2.1等长编码
4.2.2等长信源编码定理
4.3变长信源编码定理
4.4变长编码方法
4.4.1Shannon编码
4.4.2Fano编码
4.4.3Huffman编码
4.4.4游程编码
4.4.5数字传真编码
4.4.6算术编码
4.5字典码
4.5.1LZ-77编码算法
4.5.2LZ-78编码算法
4.5.3LZW编码算法
科学家小传——R. M. Fano
科学家小传——D. A. Huffman
思考题
习题
第5章信息率失真函数和限失真信源编码
5.1失真测度和信息率失真函数
5.1.1系统模型和失真测度
5.1.2信息率失真函数的定义
5.1.3信息率失真函数的性质
5.2离散信源的信息率失真函数的计算
5.2.1利用信源的对称性计算信息率失真函数
*5.2.2离散信源信息率失真函数的参量表达式
5.3连续信源的信息率失真函数
5.3.1连续信源的信息率失真函数与性质
5.3.2高斯信源的信息率失真函数
5.3.3连续信源的信息率失真函数的界
5.4限失真信源编码定理
5.5限失真信源编码简介
5.5.1量化编码
5.5.2预测编码
5.5.3变换编码
科学家小传——A.Lempel
科学家小传——J.Ziv
思考题
习题
第6章信道编码
6.1译码规则和信道编码定理
6.1.1错误概率与译码规则
6.1.2有噪信道编码定理
6.2差错控制的基本形式和信道编码的分类
6.2.1差错控制的基本形式
6.2.2信道编码的分类
6.3信道编码的基本数学知识
6.3.1群、环和域的基本概念
6.3.2有限域上的多项式
6.3.3多项式同余类环
6.3.4有限域的结构
6.3.5线性空间
6.4线性分组码
6.4.1分组码的基本概念
6.4.2常用分组码介绍
6.4.3生成矩阵、一致校验矩阵和对偶码
6.4.4伴随式及标准阵列译码
6.4.5Hamming码
6.4.6由已知码构造新码的方法
6.5循环码
6.5.1循环码的基本概念
6.5.2循环码的生成多项式、生成矩阵和编码原理
6.5.3循环码的一致校验多项式和校验矩阵
6.5.4循环Hamming码和极长码
6.5.5用多项式的根定义循环码
*6.5.6循环码的编码电路
*6.5.7循环码的译码原理和译码电路
*6.5.8BCH码和RS码
6.6卷积码
6.6.1卷积码的基本概念
6.6.2卷积码的描述方法
6.6.3卷积码的Viterbi译码
科学家小传——R.W.Hamming
思考题
习题
参考文献