信息論與編碼

第1章 緒論 1

1．1 信息的概念和特性 1

1．2 熵的概念 2

1．3 信息論的基本問(wèn)題和主要內(nèi)容 3

1．3．1 信息論研究的基本問(wèn)題 3

1．3．2 信息論的研究?jī)?nèi)容 4

1．4 香農(nóng)簡(jiǎn)介 5

1．5 本書結(jié)構(gòu) 6

1．6 本章小結(jié) 7

第2章 數(shù)學(xué)基礎(chǔ) 8

2．1 概率論基礎(chǔ) 8

2．1．1 概率空間 8

2．1．2 隨機(jī)變量與分布函數(shù) 10

2．1．3 多維隨機(jī)變量及其分布 12

2．1．4 數(shù)字特征 16

2．1．5 大數(shù)定律及中心極限定理 19

2．2 馬爾可夫鏈 22

2．2．1 有限狀態(tài)馬氏鏈 22

2．2．2 狀態(tài)轉(zhuǎn)移概率 23

2．2．3 齊次馬氏鏈 23

2．2．4 馬氏鏈的平穩(wěn)分布 25

2．3 凸函數(shù) 26

2．4 本章小結(jié) 28

習(xí)題 28

第3章 信息度量 30

3．1 自信息、條件自信息和聯(lián)合自信息 30

3．1．1 自信息 30

3．1．2 條件自信息 32

3．1．3 聯(lián)合自信息 33

3．2 互信息和信息散度 33

3．2．1 互信息的定義 33

3．2．2 互信息的性質(zhì) 34

3．2．3 條件互信息 35

3．2．4 信息散度 35

3．3 離散集合的平均信息量（熵） 37

3．3．1 信息熵 37

3．3．2 條件熵 38

3．3．3 聯(lián)合熵 38

3．3．4 熵的基本性質(zhì) 39

3．3．5 各類熵的關(guān)系 42

3．3．6 熵函數(shù)的唯一性 44

3．3．7 通信系統(tǒng)中熵的意義 44

3．4 平均互信息 46

3．4．1 平均互信息的定義 46

3．4．2 平均互信息與熵的關(guān)系 46

3．4．3 平均互信息的性質(zhì) 48

3．4．4 多隨機(jī)變量的互信息 53

3．5 本章小結(jié) 59

習(xí)題 61

第4章 信源和熵 64

4．1 信源的分類與數(shù)學(xué)模型 64

4．1．1 信源的分類 64

4．1．2 信源的數(shù)學(xué)模型 64

4．2 離散信源 65

4．2．1 離散無(wú)記憶信源和熵 65

4．2．2 離散平穩(wěn)信源和熵 66

4．2．3 馬爾可夫信源 69

4．2．4 信源的冗余度 73

4．3 連續(xù)信源 76

4．3．1 連續(xù)信源的熵與平均互信息 76

4．3．2 連續(xù)隨機(jī)變量信息散度 79

4．3．3 幾種特殊分布連續(xù)信源熵 80

4．3．4 連續(xù)信源最大熵定理 83

4．3．5 熵功率 84

4．3．6 符號(hào)持續(xù)時(shí)間不同的信源的熵 85

4．4 本章小結(jié) 86

習(xí)題 88

第5章 信道與信道容量 91

5．1 信道的特性及其分類 91

5．1．1 信道模型 91

5．1．2 信道分類 91

5．2 離散信道及其信道容量 92

5．2．1 離散信道數(shù)學(xué)模型 92

5．2．2 離散信道的信道容量 95

5．2．3 多符號(hào)離散信道的信道容量 104

5．3 連續(xù)信道及其信道容量 106

5．3．1 加性噪聲信道及其信道容量 106

5．3．2 加性高斯信道和及其信道容量 108

5．3．3 加性非高斯信道及其信道容量 109

5．3．4 并聯(lián)加性高斯信道 112

5．3．5 限頻限功率高斯信道的信道容量 115

5．3．6 香農(nóng)信道編碼定理 118

5．4 本章小結(jié) 120

習(xí)題 121

第6章 無(wú)失真信源編碼 124

6．1 信源編碼簡(jiǎn)介 124

6．2 離散信源定長(zhǎng)編碼 126

6．2．1 典型序列與漸近均分特性 127

6．2．2 定長(zhǎng)編碼定理 129

6．2．3 定長(zhǎng)碼參數(shù) 130

6．3 離散信源變長(zhǎng)編碼 131

6．3．1 變長(zhǎng)碼的唯一可譯性 132

6．3．2 Kraft不等式 133

6．3．3 變長(zhǎng)編碼定理 134

6．3．4 變長(zhǎng)碼參數(shù) 136

6．4 變長(zhǎng)編碼方法 137

6．4．1 Huffman編碼 137

6．4．2 實(shí)用的信源編碼方法 141

6．5 本章小結(jié) 143

習(xí)題 144

第7章 限失真信源編碼 147

7．1 系統(tǒng)模型和失真測(cè)度 148

7．1．1 系統(tǒng)模型 148

7．1．2 失真測(cè)度 148

7．1．3 失真函數(shù)舉例說(shuō)明 149

7．2 信息率失真函數(shù) 149

7．2．1 定義 149

7．2．2 信息率失真函數(shù)的性質(zhì) 150

7．2．3 簡(jiǎn)單信源的信息率失真函數(shù) 153

7．3 離散信源R(D)計(jì)算 161

7．3．1 離散信源信息率失真函數(shù)的參量表示 161

7．3．2 離散信源R(D)求解矢量/矩陣表示 163

7．3．3 參量s的意義 164

7．4 連續(xù)信源的信息率失真函數(shù) 167

7．4．1 連續(xù)信源的平均失真函數(shù) 167

7．4．2 d(x，y)只與x?y有關(guān)的情況下率失真函數(shù)的求解 168

7．4．3 高斯信源的率失真函數(shù) 169

7．4．4 限帶白色高斯信源的率失真函數(shù) 171

7．4．5 一般信源率失真函數(shù)的上限和下限 171

7．5 限失真信源編碼定理 172

7．6 本章小結(jié) 173

習(xí)題 175

第8章 信道編碼 178

8．1 引言 178

8．2 糾錯(cuò)編碼 182

8．3 簡(jiǎn)單編碼 186

8．4 線性分組碼 189

8．5 其他信道編碼方式 196

8．5．1 卷積碼 196

8．5．2 Turbo碼 199

8．5．3 LDPC碼 203

8．6 本章小結(jié) 206

習(xí)題 206

第9章 網(wǎng)絡(luò)信息論 208

9．1 信道模型 209

9．1．1 刪除信道 209

9．1．2 無(wú)線信道 210

9．2 數(shù)字噴泉碼的數(shù)學(xué)描述 210

9．2．1 數(shù)字噴泉碼的定義 210

9．2．2 Tanner圖 211

9．2．3 度分布函數(shù) 212

9．3 典型的數(shù)字噴泉碼 213

9．3．1 LT碼 213

9．3．2 Raptor碼 214

9．4 數(shù)字噴泉碼的譯碼算法 216

9．4．1 刪除信道中的譯碼算法 216

9．4．2 無(wú)線信道中的譯碼算法 217

9．5 數(shù)字噴泉碼的性能分析方法 219

9．5．1 刪除信道中的密度演化 219

9．5．2 無(wú)線信道中的密度演化 222

9．6 數(shù)字噴泉碼的應(yīng)用 225

9．7 網(wǎng)絡(luò)編碼基礎(chǔ) 226

9．7．1 引言 226

9．7．2 最大流最小割定理 226

9．7．3 網(wǎng)絡(luò)編碼的數(shù)學(xué)描述 227

9．7．4 網(wǎng)絡(luò)編碼的分類及特點(diǎn) 228

9．8 網(wǎng)絡(luò)編碼實(shí)例：應(yīng)用于蝶形網(wǎng)絡(luò) 229

9．9 網(wǎng)絡(luò)編碼的研究現(xiàn)狀 230

9．10 網(wǎng)絡(luò)編碼的應(yīng)用 231

參考文獻(xiàn) 232