信息論與編碼理論

第1章 緒論
1.1 信息
1.1.1 信息的概念
1.1.2 信息的性質(zhì)
1.2 通信系統(tǒng)模型
1.2.1 信源和信宿
1.2.2 編碼器和譯碼器
1.2.3 信道和噪聲
1.3 離散與連續(xù)
1.4 信息論和編碼理論的形成和發(fā)展
小結(jié)
習(xí)題
第2章 信息的統(tǒng)計(jì)度量
2.1 自信息和條件自信息
2.1.1 自信息的定義與含義
2.1.2 條件自信息的定義與含義
2.2 互信息
2.2.1 互信息的定義與含義
2.2.2 互信息的性質(zhì)
2.3 平均自信息(熵)
2.3.1 熵的定義與含義
2.3.2 熵函數(shù)的數(shù)學(xué)性質(zhì)
2.3.3 條件熵
2.3.4 聯(lián)合熵
2.3.5 各種熵之間的關(guān)系
2.4 平均互信息
2.4.1 平均互信息的定義與含義
2.4.2 平均互信息的性質(zhì)
2.4.3 各種熵和平均互信息量之間的關(guān)系
2.5 連續(xù)隨機(jī)變量的互信息和相對(duì)熵
2.5.1 連續(xù)隨機(jī)變量的統(tǒng)計(jì)特性
2.5.2 連續(xù)隨機(jī)變量的互信息
2.5.3 連續(xù)隨機(jī)變量的相對(duì)熵
小結(jié)
習(xí)題
第3章 離散信源
3.1 離散信源的數(shù)學(xué)模型
3.2 信源的分類
3.2.1 無(wú)記憶信源
3.2.2 有記憶信源
3.3 離散無(wú)記憶信源
3.3.1 離散無(wú)記憶信源及其熵
3.3.2 離散無(wú)記憶信源的擴(kuò)展信源及其熵
3.4 馬爾可夫信源
3.4.1 馬爾可夫信源的定義
3.4.2 有限狀態(tài)馬爾可夫鏈
3.4.3 馬爾可夫信源的馬爾可夫鏈性質(zhì)
3.4.4 馬爾可夫信源的熵
3.5 離散平穩(wěn)信源
3.5.1 平穩(wěn)信源的概念
3.5.2 平穩(wěn)信源的熵
3.6 信源的相關(guān)性和剩余度
小結(jié)
習(xí)題
第4章 離散信道
4.1 離散信道的數(shù)學(xué)模型
4.2 信道的分類
4.3 離散無(wú)記憶信道
4.3.1 離散無(wú)記憶信道的數(shù)學(xué)模型
4.3.2 信道疑義度和噪聲熵
4.3.3 信道的平均互信息及其含義
4.4 信道的組合
4.5 信道容量
4.5.1 信息傳輸率
4.5.2 信道容量的定義及含義
4.5.3 三種特殊信道的容量
4.5.4 對(duì)稱信道的容量
4.5.5 一般信道的容量
4.5.6 信源和信道的匹配
小結(jié)
習(xí)題
第5章 連續(xù)信源和連續(xù)信道
5.1 連續(xù)信源
5.1.1 連續(xù)信源的數(shù)學(xué)模型
5.1.2 連續(xù)信源的熵和互信息
5.2 連續(xù)信道及其信道容量
5.2.1 時(shí)間離散信道
5.2.2 連續(xù)信道
小結(jié)
習(xí)題
第6章 無(wú)失真信源編碼
6.1 編碼的基本概念
6.1.1 編碼器和譯碼器
6.1.2 碼的分類
6.1.3 N次擴(kuò)展碼
6.2 “無(wú)失真”的本質(zhì)
6.3 定長(zhǎng)碼
6.4 變長(zhǎng)碼
6.4.1 變長(zhǎng)碼的衡量指標(biāo)
6.4.2 變長(zhǎng)碼的特點(diǎn)
6.4.3 唯一可譯碼和即時(shí)碼的判別
6.4.4 無(wú)失真信源編碼定理(香農(nóng)第一定理)
6.5 霍夫曼碼
6.5.1 二元霍夫曼碼
6.5.2 多元霍夫曼碼
6.6 算術(shù)編碼
6.6.1 算術(shù)編碼的基本原理
6.6.2 算術(shù)編碼方法
6.6.3 算術(shù)譯碼方法
6.7 LZW編碼
6.7.1 LZW基本原理
6.7.2 LZW編碼方法
小結(jié)
習(xí)題
第7章 限失真信源編碼
7.1 失真的度量
7.1.1 失真函數(shù)和失真矩陣
7.1.2 序列失真
7.1.3 平均失真和保真度準(zhǔn)則
7.2 信息率失真函數(shù)
7.2.1 信息率失真函數(shù)的定義和含義
7.2.2 信息率失真函數(shù)的定義域和性質(zhì)
7.2.3 信息率失真函數(shù)和信道容量的關(guān)系
7.2.4 限失真信源編碼定理(香農(nóng)第三定理)
7.3 量化編碼
7.3.1 量化編碼的主要作用
7.3.2 均勻量化
7.3.3 最優(yōu)量化
7.3.4 矢量量化編碼
7.4 預(yù)測(cè)編碼
7.4.1 預(yù)測(cè)編碼的基本原理和方法
7.4.2 預(yù)測(cè)編碼能夠限失真壓縮信源的原因
7.4.3 DPCM編譯碼原理
7.5 變換編碼
7.5.1 變換編碼的基本原理
7.5.2 變換編碼能夠限失真壓縮信源的原因
7.5.3 離散余弦變換
7.5.4 變換編碼的廣泛應(yīng)用
小結(jié)
習(xí)題
第8章 信道編碼
8.1 信道編碼的基本概念
8.1.1 編譯碼規(guī)則、檢糾錯(cuò)能力
8.1.2 平均錯(cuò)誤譯碼概率
8.2 譯碼規(guī)則
8.3 有噪信道編碼定理(香農(nóng)第二定理)
8.4 線性分組碼
8.4.1 基本概念
8.4.2 線性分組碼的性質(zhì)
8.4.3 線性分組碼的兩個(gè)重要參數(shù)——編碼效率和最小漢明距離
8.4.4 生成矩陣和監(jiān)督矩陣
8.4.5 對(duì)偶碼
8.4.6 伴隨式、伴隨式的錯(cuò)誤圖樣表示、根據(jù)伴隨式譯碼
8.4.7 漢明碼
8.5 循環(huán)碼
8.5.1 循環(huán)碼的基本概念
8.5.2 循環(huán)碼的生成多項(xiàng)式和監(jiān)督多項(xiàng)式
8.5.3 循環(huán)碼的譯碼
8.5.4 BCH碼
8.5.5 RS碼
8.6 卷積碼
8.6.1 卷積碼的基本概念和基本原理
8.6.2 卷積碼的編碼
8.6.3 卷積碼的矩陣表述
8.7 突發(fā)錯(cuò)誤的糾正
8.7.1 基本概念
8.7.2 級(jí)聯(lián)碼
8.7.3 交織碼
8.7.4 Turbo碼
小結(jié)
習(xí)題
附錄A 凸函數(shù)與詹森(Jensen)不等式
A.1 一元函數(shù)的凸性
A.2 函數(shù)凸性的判別
A.3 Jensen不等式
A.4 凸域和凸函數(shù)
A.5 凸域中的Jensen不等式
附錄B BCH編碼表
參考文獻(xiàn)