信息論基礎(chǔ)與應(yīng)用

緒論………………………………………………………………………………………………… 1
0.1 信息的概念 …………………………………………………………………………… 1
0.2 信息論的研究對(duì)象、目的和內(nèi)容 …………………………………………………… 2
擴(kuò)展閱讀：信息論的形成和發(fā)展…………………………………………………………… 5
擴(kuò)展閱讀：量子通信與量子信息論………………………………………………………… 6
第1章 信息的度量 …………………………………………………………………………… 8
1.1 自信息和互信息 ……………………………………………………………………… 8
1.1.1 自信息 …………………………………………………………………………… 8
1.1.2 互信息 ………………………………………………………………………… 10
1.2 平均自信息…………………………………………………………………………… 11
1.2.1 平均自信息（信息熵）的概念 …………………………………………………… 11
1.2.2 熵函數(shù)的性質(zhì) …………………………………………………………………… 12
1.2.3 聯(lián)合熵與條件熵 ………………………………………………………………… 15
1.3 平均互信息…………………………………………………………………………… 19
1.3.1 平均互信息的概念 ……………………………………………………………… 19
1.3.2 平均互信息的性質(zhì) ……………………………………………………………… 20
1.3.3 數(shù)據(jù)處理定理 …………………………………………………………………… 24
1.3.4 相對(duì)熵（KL散度） ……………………………………………………………… 25
擴(kuò)展閱讀：凸函數(shù)及詹森不等式 ………………………………………………………… 26
擴(kuò)展閱讀：信息增益與決策樹 …………………………………………………………… 27
動(dòng)手實(shí)踐：圖像的熵和平均互信息 ……………………………………………………… 29
習(xí)題1 ……………………………………………………………………………………… 29
第2章 信源及信源熵 ………………………………………………………………………… 34
2.1 信源的分類及其數(shù)學(xué)模型…………………………………………………………… 34
2.2 離散單符號(hào)信源……………………………………………………………………… 35
2.3 離散多符號(hào)信源……………………………………………………………………… 36
2.3.1 離散平穩(wěn)無(wú)記憶信源 …………………………………………………………… 36
2.3.2 離散平穩(wěn)有記憶信源 …………………………………………………………… 38
2.3.3 馬爾可夫信源 …………………………………………………………………… 40
2.3.4 信源的相關(guān)性和剩余度 ………………………………………………………… 44
2.4 連續(xù)信源……………………………………………………………………………… 46
2.4.1 連續(xù)信源的最大熵 ……………………………………………………………… 50
2.4.2 連續(xù)信源的熵功率 ……………………………………………………………… 51
擴(kuò)展閱讀：隨機(jī)過程 ……………………………………………………………………… 52
擴(kuò)展閱讀：隱馬爾可夫模型與賭場(chǎng)風(fēng)云 ………………………………………………… 56
習(xí)題2 ……………………………………………………………………………………… 58
第3章 信道及其信道容量 …………………………………………………………………… 63
3.1 信道的分類…………………………………………………………………………… 63
3.2 離散單符號(hào)信道……………………………………………………………………… 64
3.2.1 離散單符號(hào)信道的數(shù)學(xué)模型 ……………………………………………………… 64
3.2.2 信道容量的概念 ………………………………………………………………… 66
3.2.3 幾種特殊信道的信道容量………………………………………………………… 68
3.2.4 離散對(duì)稱信道的信道容量………………………………………………………… 69
3.2.5 一般離散信道的信道容量………………………………………………………… 73
3.2.6 信道容量定理 …………………………………………………………………… 77
3.2.7 信道容量的迭代算法* …………………………………………………………… 80
3.3 離散多符號(hào)信道及其信道容量……………………………………………………… 83
3.4 組合信道及其信道容量……………………………………………………………… 86
3.4.1 獨(dú)立并聯(lián)信道 …………………………………………………………………… 87
3.4.2 級(jí)聯(lián)信道………………………………………………………………………… 87
3.5 連續(xù)信道及其信道容量……………………………………………………………… 88
3.5.1 連續(xù)隨機(jī)變量的互信息 ………………………………………………………… 88
3.5.2 加性高斯信道的信道容量………………………………………………………… 90
3.5.3 多維高斯加性信道的信道容量 …………………………………………………… 91
3.6 波形信道的信道容量………………………………………………………………… 92
擴(kuò)展閱讀：信道容量定理引理 …………………………………………………………… 93
動(dòng)手實(shí)踐：信道容量的迭代算法 ………………………………………………………… 94
習(xí)題3 ……………………………………………………………………………………… 95
第4章 無(wú)失真信源編碼 ……………………………………………………………………… 99
4.1 信源編碼概述………………………………………………………………………… 99
4.1.1 編碼器 ………………………………………………………………………… 99
4.1.2 碼的分類 ……………………………………………………………………… 101
4.2 定長(zhǎng)碼及定長(zhǎng)信源編碼定理 ……………………………………………………… 103
4.3 變長(zhǎng)碼及變長(zhǎng)信源編碼定理 ……………………………………………………… 106
4.3.1 Kraft不等式和McMillan不等式 ………………………………………………… 107
4.3.2 唯一可譯碼的判別準(zhǔn)則 ………………………………………………………… 108
4.3.3 緊致碼平均碼長(zhǎng)界限定理 ……………………………………………………… 109
4.3.4 無(wú)失真變長(zhǎng)信源編碼定理（香農(nóng)第一定理） …………………………………… 111
4.4 變長(zhǎng)碼的編碼方法 ………………………………………………………………… 115
4.4.1 香農(nóng)編碼 ……………………………………………………………………… 115
4.4.2 香農(nóng)-費(fèi)諾-埃利斯編碼 ……………………………………………………… 116
4.4.3 二元霍夫曼碼 ………………………………………………………………… 116
4.4.4 r元霍夫曼碼 …………………………………………………………………… 119
4.4.5 費(fèi)諾碼 ………………………………………………………………………… 120
4.5 實(shí)用的無(wú)失真信源編碼方法 ……………………………………………………… 122
4.5.1 游程編碼 ……………………………………………………………………… 122
4.5.2 算術(shù)編碼 ……………………………………………………………………… 124
4.5.3 LZW編碼 ……………………………………………………………………… 126
擴(kuò)展閱讀：漸進(jìn)等分割性和典型序列…………………………………………………… 129
習(xí)題4 ……………………………………………………………………………………… 132
第5章 有噪信道編碼 ……………………………………………………………………… 136
5.1 信道編碼的相關(guān)概念 ……………………………………………………………… 136
5.1.1 錯(cuò)誤概率和譯碼規(guī)則 …………………………………………………………… 137
5.1.2 錯(cuò)誤概率與編碼方法 …………………………………………………………… 142
5.2 有噪信道編碼定理 ………………………………………………………………… 148
5.3 糾錯(cuò)編碼 …………………………………………………………………………… 150
5.3.1 糾錯(cuò)編碼分類 ………………………………………………………………… 150
5.3.2 糾錯(cuò)編碼的基本概念 …………………………………………………………… 152
5.3.3 線性分組碼 …………………………………………………………………… 153
5.3.4 幾種重要的線性分組碼 ………………………………………………………… 163
5.3.5 卷積碼* ……………………………………………………………………… 168
5.3.6 TCM碼、級(jí)聯(lián)碼、Turbo碼和LDPC碼 ………………………………………… 171
動(dòng)手實(shí)踐5.1：Hamming(7,4)編譯碼器 ……………………………………………… 172
動(dòng)手實(shí)踐5.2：通信系統(tǒng)仿真 …………………………………………………………… 172
習(xí)題5 ……………………………………………………………………………………… 173
第6章 限失真信源編碼 …………………………………………………………………… 178
6.1 失真測(cè)度 …………………………………………………………………………… 178
6.1.1 失真函數(shù) ……………………………………………………………………… 179
6.1.2 平均失真 ……………………………………………………………………… 181
6.2 信息率失真函數(shù) …………………………………………………………………… 182
6.2.1 D失真6