信息論基礎(chǔ)及應(yīng)用

第1章緒論
1.1信息的概念
1.1.1信息、消息及信號(hào)的區(qū)別與聯(lián)系
1.1.2香農(nóng)信息的定義與度量
1.2信息論研究的對(duì)象、目的和內(nèi)容
1.2.1信息論研究的對(duì)象
1.2.2信息論研究的目的
1.2.3信息論研究的內(nèi)容
1.3信息論的形成及發(fā)展
第2章離散信源及信息的度量
2.1信源的數(shù)學(xué)模型及分類
2.1.1信源輸出的消息由隨機(jī)變量描述
2.1.2信源輸出的消息由隨機(jī)矢量描述
2.1.3信源輸出的消息由隨機(jī)過程描述
2.2離散信源的信息量
2.2.1非平均不確定性
2.2.2非平均信息量
2.2.3平均信息量
2.3熵的基本性質(zhì)
2.4消息序列的熵
2.4.1消息序列信息量的一般表達(dá)式
2.4.2離散無記憶的擴(kuò)展信源
2.4.3離散平穩(wěn)信源
2.4.4馬爾可夫信源
2.5信源的相關(guān)性和剩余度
習(xí)題
第3章離散信源的無失真編碼
3.1編碼器
3.2離散無記憶信源的漸近等同分割性
3.3等長碼和等長信源編碼定理
3.4變長碼
3.4.1碼的分類和主要編碼方法
3.4.2克拉夫特不等式和麥克米倫不等式
3.4.3惟一可譯碼判斷準(zhǔn)則
3.5香農(nóng)第一定理
3.5.1碼的平均長度
3.5.2變長無失真信源編碼定理
3.6變長碼的編碼方法
3.6.1香農(nóng)編碼
3.6.2費(fèi)諾編碼
3.6.3霍夫曼編碼
3.7離散平穩(wěn)信源和馬爾可夫信源的編碼定理*
3.7.1離散平穩(wěn)信源的編碼定理.
3.7.2馬爾可夫信源的編碼定理
習(xí)題
第4章離散信道及信道容量
4.1信道的數(shù)學(xué)模型和分類
4.1.1信道
4.1.2信道的分類
4.I.3離散信道的數(shù)學(xué)模型
4.1.4單維離散信道的數(shù)學(xué)模型
4.2信道傳輸?shù)钠骄バ畔?
4.2.1損失熵和噪聲熵
4.2.2平均互信息
4.2.3平均條件互信息
4.3平均互信息的特性
4.4信道容量的概念及其計(jì)算方法
4.4.1信道容量的定義
4.4.2簡單離散信道的信道容量
4.4.3對(duì)稱離散信道的信道容量
4.4.4一般離散信道的信道容量
4.4.5離散無記憶信道容量的迭代算法
4.4.6離散無記憶N次擴(kuò)展信道及其信道容量
4.5串聯(lián)信道和并聯(lián)信道的信道容量
4.5.1串聯(lián)信道及其信道容量
4.5.2并聯(lián)信道及其信道容量
4.6信源與信道的匹配
習(xí)題
第5章有噪信道編碼
5.1錯(cuò)誤概率和譯碼規(guī)則
5.1.1錯(cuò)誤概率的分析
5.1.2兩種典型的譯碼規(guī)則
5.1.3費(fèi)諾不等式
5.2錯(cuò)誤概率與編碼方法
5.2.1簡單重復(fù)編碼
5.2.2消息符號(hào)個(gè)數(shù)
5.2.3(5.2)線性碼
5.2.4漢明距離
5.3聯(lián)合典型序列與聯(lián)合漸近等同分割定理
5.4香農(nóng)第二定理
5.4.1有噪信道編碼定理
5.4.2有噪信道編碼定理的逆定理
5.4.3錯(cuò)誤概率的上界
習(xí)題
第6章離散信源的限失真編碼
6.1失真測(cè)度
6.1.1失真度
6.1.2平均失真度
6.2信息率失真函數(shù)
6.2.1D允許信道(試驗(yàn)信道)
6.2.2信息率失真函數(shù)的定義
6.2.3信息率失真函數(shù)的性質(zhì)
6.3信息率失真函數(shù)的參量表述及其計(jì)算
6.3.1利用信源的對(duì)稱性來計(jì)算信息率失真函數(shù)
6.3.2信息率失真函數(shù)的參量表述
6.4信息率失真函數(shù)的迭代計(jì)算
6.5香農(nóng)第三定理
6.5.1限失真信源編碼定理
6.5.2限失真信源編碼逆定理
6.5.3限失真編碼定理的意義
習(xí)題
第7章連續(xù)信源和波形信源
7.1連續(xù)／波形信源的統(tǒng)計(jì)特性
7：2連續(xù)信源和波形信源的信息度量
7.2.1連續(xù)信源的差熵
7.2.2波形信源的差熵
7.2.3三種特殊連續(xù)信源的差熵
7.3最大差熵定理
7.3.1峰值功率受限最大差熵定理
7.3.2平均功率受限最大差熵定理
7.4熵速率和熵功率
7.5連續(xù)信源熵的變換
7.5.1坐標(biāo)變換后概率密度函數(shù)的變化
7.5.2坐標(biāo)變換后差熵的變化
7.6連續(xù)信源的信息率失真函數(shù)
7.6.1連續(xù)信源的信息率失真函數(shù)定義
7.6.2平方誤差失真度下高斯信源的信息率失真函數(shù)
習(xí)題
第8章連續(xù)信道和波形信道
8.1連續(xù)／波形信道的分類
8.1.1按噪聲統(tǒng)計(jì)特性分類
8.1.2按噪聲對(duì)信號(hào)的作用功能分類
8.2連續(xù)信道的信息傳輸率
8.2.1單維連續(xù)信道的平均互信息
8.2.2多維連續(xù)信道的平均互信息..
8.2.3連續(xù)信道平均互信息的特性
8.3連續(xù)信道的信道容量
8.3.1單維高斯加性信道
8.3.2單維非高斯加性信道
8.3.3多維無記憶高斯加性連續(xù)信道
8.3.4多維有記憶高斯加性連續(xù)信道
8.4波形信道的信息傳輸率和信道容量
8.4.1波形信道的信息傳輸率
8.4.2高斯白噪聲加性波形信道
8.4.3有色高斯加性波形信道
8.5連續(xù)信道編碼定理
習(xí)題
第9章網(wǎng)絡(luò)信息理論
9.1網(wǎng)絡(luò)信道的分類
9.1.1多源接入信道
9.1.2廣播信道
9.1.3中繼信道
9.1.4串?dāng)_信道
9.1.5反饋信道
9.2多個(gè)隨機(jī)變量下的聯(lián)合典型序列
9.3相關(guān)信源編碼
9.3.1兩個(gè)相關(guān)信源的模型
9.3.2相關(guān)信源編碼定理
9.4多源接入信道
9.4.1多源接入信道的容量
9.4.2相關(guān)信源的多源接入信道
9.4.3高斯多源接入信道
附錄Matlab源程序
附錄A信息熵
附錄B離散無記憶信道容量的迭代計(jì)算
附錄CShannon編碼
附錄DFano編碼
附錄EHuffman編碼
附錄F信息率失真函數(shù)的迭代計(jì)算
參考文獻(xiàn)