應用信息論基礎

第1章 信息論與信息論方法概述
1.1 信息、信息科學和信息論
1.2 信息論方法的應用及其取得的成果
1.3 信息論的形成與發(fā)展
1.3.1 通信技術的理論基礎
1.3.2 統(tǒng)計數(shù)學的一個分支
1.3.3 信號與信息處理的一般理論基礎
第2章 信息論的基本概念
2.1 離散熵
2.1.1 熵的定義
2.1.2 熵函數(shù)的性質
2.1.3 熵函數(shù)形式的唯一性
2.1.4 聯(lián)合熵與條件熵
2.2 離散互信息
2.2.1 互信息的定義
2.2.2 多個隨機變量下的互信息
2.2.3 互信息函數(shù)的性質
2.3 連續(xù)隨機變量下的熵與互信息
2.3.1 連續(xù)隨機變量下的微分熵
2.3.2 隨機變量函數(shù)的微分熵
2.3.3 連續(xù)隨機變量下的互信息
2.4 鑒別信息
2.4.1 鑒別信息的定義
2.4.2 Kullback與香農(nóng)兩種信息量度之間的關系
2.4.3 鑒別信息的性質
2.4.4 鑒別信息函數(shù)形式的唯一性
2.5 對信息論基本概念的若干評注
習題
第3章 信源的熵率、冗余度與冗余度壓縮編碼
3.1 信源、信源模型與信源編碼
3.1.1 信源
3.1.2 信源模型
3.1.3 信源編碼
3.2 離散穩(wěn)恒信源的熵率與冗余度
3.3 離散無記憶信源的漸近等同分割性與信源的定長編碼定理
3.3.1 漸近等同分割性
3.3.2 定長編碼定理
3.4 離散無記憶信源的變長編碼
3.4.1 前綴碼與Kraft定理
3.4.2 唯一可譯碼定理
3.5 變長編碼的平均碼長與最優(yōu)編碼
3.5.1 變長編碼的平均碼長
3.5.2 最優(yōu)編碼
3.6 離散無記憶信源的變長樹碼
3.6.1 算術碼
3.6.2 算術碼的存在性
3.7 離散馬爾可夫信源的熵率
3.7.1 馬爾可夫鏈的基本概念
3.7.2 離散馬爾可夫信源熵率的計算
3.8 離散馬爾可夫信源的編碼定理與最優(yōu)編碼
習題
第4章 信道、信道容量與信道的有效利用
4.1 信道、信道模型與信道分類
4.1.1 信道
4.1.2 信道模型與信道分類
4.2 離散無記憶信道及其信道容量
4.3 離散無記憶信道容量的計算
4.3.1 信道容量解的充要條件
4.3.2 某些簡單情況下信道容量的解
4.3.3 一般情況下信道容量的解
4.3.4 信道容量的迭代解法
4.4 級聯(lián)信道和并聯(lián)信道的信道容量
4.4.1 級聯(lián)信道
4.4.2 并聯(lián)信道
4.5 信道達到充分利用時輸入輸出字母概率分布的唯一性
4.6 連續(xù)信道的信道容量
4.6.1 無記憶加性噪聲信道的信道容量費用函數(shù)
4.6.2 無記憶加性高斯噪聲信道的信道容量費用函數(shù)
4.6.3 一般無記憶加性噪聲信道的信道容量費用函數(shù)的界
4.6.4 無記憶加性高斯噪聲信道的級聯(lián)和并聯(lián)
4.7 模擬信道的信道容量
4.7.1 模擬隨機信號的正交展開
4.7.2 模擬信道下的信道容量費用函數(shù)及其計算
4.8 限帶加性白色高斯噪聲信道的極限性能及其與傳輸要求的匹配
4.8.1 限帶加性白色高斯噪聲信道的性能及其極限
4.8.2 信道與信息傳輸要求的匹配
4.9 限帶模擬信道的數(shù)字化
4.10 蜂窩移動通信條件下信道的有效利用
4.10.1 蜂窩移動通信與系統(tǒng)的頻譜利用效率
4.10.2 不同接入方法下蜂窩移動通信系統(tǒng)的頻譜利用效率及其比較
習題
第5章 信道編碼
5.1 信道編碼概述
5.2 信道譯碼準則
5.3 聯(lián)合典型序列與聯(lián)合漸近等同分割定理
5.4 信道編碼定理
5.5 信道編譯碼方法的最初范例——漢明碼
5.6 分組碼之一：線性碼
5.6.1 線性碼的定義、編碼與生成多項式
5.6.2 線性碼的伴隨式與伴隨式譯碼
5.7 分組碼之二：循環(huán)碼
5.7.1 循環(huán)碼的定義
5.7.2 循環(huán)碼的編碼與生成多項式
5.7.3 循環(huán)碼的伴隨式與譯碼原理
5.8 樹碼、網(wǎng)格碼與卷積碼
5.9 關于信道編碼理論的若干評注
習題
第6章 信源的信息速率失真函數(shù)與熵壓縮編碼
6.1 熵壓縮編碼和信源的信息速率失真函數(shù)
6.1.1 熵壓縮編碼
6.1.2 離散無記憶信源的熵壓縮分組編碼及信源的信息速率失真函數(shù)
6.2 信息速率失真函數(shù)的性質
6.3 離散無記憶信源下的信息速率失真函數(shù)的計算
6.3.1 信息速率失真函數(shù)解的充要條件及參數(shù)方程
6.3.2 求解信息速率失真函數(shù)的迭代算法
6.3.3 信息速率失真函數(shù)解的唯一性問題
6.3.4 乘積信源的信息速率失真函數(shù)
6.4 連續(xù)無記憶信源的信息速率失真函數(shù)
6.4.1 連續(xù)無記憶信源信息速率失真函數(shù)的定義及其解的充要條件
6.4.2 差值失真量度下連續(xù)無記憶信源信息速率失真函數(shù)的計算
6.5 標量量化
6.5.1 均勻量化
6.5.2 Lloyd－Max算法
6.6 有記憶連續(xù)信源與模擬信源的信息速率失真函數(shù)
6.6.1 有記憶連續(xù)信源的信息速率失真函數(shù)的定義
6.6.2 模擬信源的信息速率失真函數(shù)的定義
6.6.3 高斯有記憶連續(xù)信源的信息速率失真函數(shù)
6.6.4 高斯模擬信源的信息速率失真函數(shù)
6.7 變換編碼——實用的熵壓縮分組編碼
6.8 預測編碼——實用的熵壓縮樹碼
6.8.1 最小均方誤差預測器
6.8.2 最小平均絕對誤差預測器
6.8.3 最大零誤差概率預測器
習題
第7章 最大熵原理與最小鑒別信息原理
7.1 非適定問題與最大熵和最小鑒別信息原理
7.1.1 非適定問題的提出
7.1.2 最大熵原理與最小鑒別信息原理
7.2 最大熵原理的合理性
7.3 最小鑒別信息原理與最大熵原理的公理化推導
7.3.1 最小鑒別信息原理的推導
7.3.2 最大熵原理的推導
7.4 最小失真意義下的最大熵原理與最小鑒別信息原理
7.4.1 方向正交與投影失真
7.4.2 投影失真的一般形式
7.4.3 最小失真準則與熵準則
7.5 最大熵與最小鑒別信息原理的應用及其解的分布
7.5.1 最大熵與最小鑒別信息原理的應用
7.5.2 最大熵分布與最小鑒別信息分布
習題
第8章 組合信息、算法信息與通用編碼
8.1 信源統(tǒng)計特性不確定時的信源編碼問題
8.1.1 統(tǒng)計特性失配時統(tǒng)計編碼的性能
8.1.2 自適應統(tǒng)計編碼
8.2 基于組合的信息量度與通用編碼
8.2.1 基于組合的信息量度
8.2.2 通用編碼
8.2.3 Fitingof通用編碼的性能
8.3 算法信息量
8.3.1 單一事件或數(shù)值下的信息量度問題
8.3.2 Kolmogorov算法熵
8.4 二元字符序列的算法熵
8.5 算法熵的不可計算性
8.6 有限狀態(tài)壓縮編碼器
8.7 Lewpel－Ziv編碼
8.8 LZ編碼壓縮比與香農(nóng)熵
習題
第9章 通信網(wǎng)中的信源編碼與信道容量
9.1 概述
9.2 反饋信道
9.3 多個隨機變量下的聯(lián)合典型序列
9.4 多源接入信道
9.4.1 多源接入信道的容量
9.4.2 相關信源輸入下的多源接入信道
9.5 高斯多源接入信道
9.5.1 高斯多源接入信道的容量域
9.5.2 對高斯多源接入信道容量域的討論
9.5.3 多源接入信道容量域與多址方法的關系
9.6 分布信源編碼
習題
參考文獻
索引