信息論基礎(chǔ)（含習(xí)題與解答）

前言
第1章緒論1
1.1信息概念和特性1
1.2熵的概念2
1.3信息論研究的基本問(wèn)題和主要內(nèi)容3
1.3.1信息論研究的基本問(wèn)題3
1.3.2信息論研究?jī)?nèi)容4
1.4香農(nóng)簡(jiǎn)介5
1.5本書(shū)結(jié)構(gòu)7
1.6本章小結(jié)7
第2章數(shù)學(xué)基礎(chǔ)8
2.1概率論基礎(chǔ)8
2.1.1概率空間8
2.1.2隨機(jī)變量與分布函數(shù)11
2.1.3多維隨機(jī)變量及其分布13
2.1.4數(shù)字特征18
2.1.5大數(shù)定律及中心極限定理21
2.2馬爾可夫鏈24
2.2.1有限狀態(tài)馬氏鏈24
2.2.2狀態(tài)轉(zhuǎn)移概率24
2.2.3齊次馬氏鏈25
2.2.4馬氏鏈的平穩(wěn)分布27
2.3凸函數(shù)和常用不等式28
2.3.1凸函數(shù)28
2.3.2常用不等式30
2.4本章小結(jié)32
習(xí)題33
第3章信息度量和熵36
3.1自信息、條件自信息和聯(lián)合自信息36
3.1.1自信息36
3.1.2條件自信息38
3.1.3聯(lián)合自信息39
3.2互信息和信息散度39
3.2.1互信息定義39
3.2.2互信息的性質(zhì)40
3.2.3條件互信息41
3.2.4信息散度41
3.3離散集合的平均信息量(熵)43
3.3.1信息熵43
3.3.2條件熵44
3.3.3聯(lián)合熵44
3.3.4熵的基本性質(zhì)45
3.3.5各類(lèi)熵的關(guān)系49
3.3.6熵函數(shù)的唯一性51
3.3.7通信系統(tǒng)中熵的意義51
3.4平均互信息53
3.4.1平均互信息定義53
3.4.2平均互信息與熵的關(guān)系54
3.4.3平均互信息的性質(zhì)56
3.4.4多隨機(jī)變量的互信息61
3.5本章小結(jié)69
習(xí)題70
第4章信源和熵74
4.1信源的分類(lèi)與數(shù)學(xué)模型74
4.1.1信源的分類(lèi)74
4.1.2信源的數(shù)學(xué)模型74
4.2離散信源75
4.2.1離散無(wú)記憶信源和熵75
4.2.2離散平穩(wěn)信源和熵76
4.2.3馬爾可夫信源79
4.2.4信源的冗余度84
4.3連續(xù)信源86
4.3.1連續(xù)信源的熵與平均互信息86
4.3.2連續(xù)隨機(jī)變量信息散度90
4.3.3幾種特殊分布連續(xù)信源熵90
4.3.4最大熵定理94
4.3.5熵功率96
4.3.6隨機(jī)矢量通過(guò)線性系統(tǒng)后信息的變化96
4.3.7符號(hào)持續(xù)時(shí)間不同信源的熵99
4.4本章小結(jié)102
習(xí)題104
第5章信道與信道容量107
5.1信道的特性及其分類(lèi)107
5.1.1信道模型107
5.1.2信道分類(lèi)107
5.2離散信道及其容量108
5.2.1離散信道數(shù)學(xué)模型108
5.2.2離散信道容量111
5.2.3多符號(hào)離散信道的容量124
5.3連續(xù)/波形信道及其容量126
5.3.1加性噪聲信道和容量127
5.3.2加性高斯信道和容量129
5.3.3加性非高斯信道的容量130
5.3.4多維無(wú)記憶加性高斯信道133
5.3.5限頻限功率高斯信道的容量136
5.3.6香農(nóng)信道編碼定理139
5.4本章小結(jié)140
習(xí)題142
第6章無(wú)失真信源編碼145
6.1信源編碼簡(jiǎn)介145
6.2離散信源定長(zhǎng)編碼147
6.2.1典型序列與信源序列的漸近均分特性148
6.2.2定長(zhǎng)編碼定理150
6.2.3定長(zhǎng)碼參數(shù)151
6.3離散信源變長(zhǎng)編碼152
6.3.1變長(zhǎng)碼的唯一可譯性和即時(shí)性153
6.3.2Kraft不等式154
6.3.3變長(zhǎng)編碼定理156
6.3.4變長(zhǎng)碼參數(shù)157
6.4平穩(wěn)信源和Markov信源的編碼158
6.4.1平穩(wěn)信源的編碼158
6.4.2馬爾可夫信源的編碼159
6.5變長(zhǎng)編碼方法161
6.5.1香農(nóng)編碼161
6.5.2Fano編碼162
6.5.3Huffman編碼162
6.5.4實(shí)用的信源編碼方法166
6.6本章小結(jié)169
習(xí)題170
第7章限失真信源編碼174
7.1系統(tǒng)模型和失真測(cè)度175
7.1.1系統(tǒng)模型175
7.1.2失真測(cè)度175
7.1.3失真函數(shù)舉例說(shuō)明176
7.2信息率失真函數(shù)177
7.2.1定義177
7.2.2信息率失真函數(shù)的性質(zhì)177
7.2.3簡(jiǎn)單信源的信息率失真函數(shù)180
7.3離散信源R(D)計(jì)算188
7.3.1離散信源信息率失真函數(shù)的參量表示188
7.3.2離散信源R(D)求解矢量/矩陣表示190
7.3.3參量s的意義191
7.3.4離散信源R(D)的迭代計(jì)算194
7.4連續(xù)信源的信息率失真函數(shù)196
7.4.1連續(xù)信源的平均失真函數(shù)196
7.4.2d(x，y)只與x？y有關(guān)情況下率失真函數(shù)的求解198
7.4.3高斯信源的率失真函數(shù)199
7.4.4限帶高斯信源的率失真函數(shù)201
7.4.5一般信源率失真函數(shù)的上限和下限202
7.5限失真信源編碼定理202
7.6本章小結(jié)205
習(xí)題207
第8章MIMO信道模型及容量210
8.1引言210
8.2無(wú)線信道特性210
8.2.1路徑損耗211
8.2.2信道衰落213
8.2.3信道擴(kuò)展215
8.2.4信道相關(guān)性217
8.3MIMO信道模型222
8.3.1常見(jiàn)信道模型222
8.3.2基本信道模型224
8.3.3擴(kuò)展信道模型226
8.4MIMO信道容量228
8.4.1確定性MIMO信道228
8.4.2隨機(jī)性MIMO信道232
8.5本章小結(jié)236
習(xí)題238
第9章數(shù)字噴泉碼240
9.1信道模型241
9.1.1刪除信道241
9.1.2無(wú)線信道242
9.2數(shù)字噴泉碼的數(shù)學(xué)描述242
9.2.1數(shù)字噴泉碼的定義242
9.2.2數(shù)字噴泉碼的Tanner圖243
9.2.3數(shù)字噴泉碼的度分布函數(shù)244
9.3典型的數(shù)字噴泉碼245
9.3.1LT碼245
9.3.2Raptor碼246
9.4數(shù)字噴泉碼的譯碼算法247
9.4.1刪除信道中的譯碼算法247
9.4.2無(wú)線信道中的譯碼算法248
9.5數(shù)字噴泉碼的密度演化分析方法250
9.5.1刪除信道中的密度演化250
9.5.2無(wú)線信道中的密度演化253
9.6本章小結(jié)256
參考文獻(xiàn)258