深度學(xué)習(xí)原理及實(shí)踐：詳解圖像處理和信號(hào)識(shí)別領(lǐng)域的14個(gè)案例

第一篇深度學(xué)習(xí)基礎(chǔ)篇
第1章深度學(xué)習(xí)概述
1.1人工智能
1.1.1人工智能概念
1.1.2人工智能發(fā)展歷程
1.1.3人工智能學(xué)派
1.2機(jī)器學(xué)習(xí)
1.2.1機(jī)器學(xué)習(xí)問題描述
1.2.2機(jī)器學(xué)習(xí)理論基礎(chǔ)
1.2.3機(jī)器學(xué)習(xí)基本流程
1.2.4機(jī)器學(xué)習(xí)知識(shí)框架
1.2.5機(jī)器學(xué)習(xí)三要素
1.2.6機(jī)器學(xué)習(xí)路線圖
1.3表示學(xué)習(xí)
1.3.1表示學(xué)習(xí)基本概念
1.3.2表示學(xué)習(xí)理論基礎(chǔ)
1.3.3網(wǎng)絡(luò)表示學(xué)習(xí)流程
1.4深度學(xué)習(xí)
1.4.1深度學(xué)習(xí)與傳統(tǒng)機(jī)器學(xué)習(xí)處理過程
1.4.2深度學(xué)習(xí)訓(xùn)練算法
1.4.3深度學(xué)習(xí)知識(shí)體系
1.4.4深度學(xué)習(xí)與機(jī)器學(xué)習(xí)、人工智能的關(guān)系
第2章深度學(xué)習(xí)的數(shù)學(xué)與優(yōu)化基礎(chǔ)
2.1導(dǎo)數(shù)與梯度
2.1.1導(dǎo)數(shù)
2.1.2方向?qū)?shù)
2.1.3梯度
2.2線性代數(shù)
2.2.1線性變換
2.2.2矩陣
2.2.3基變換
2.2.4特征值和特征向量
2.3概率論
2.3.1概率
2.3.2隨機(jī)變量及其分布
2.3.3隨機(jī)變量的數(shù)字特征
2.3.4隨機(jī)信號(hào)中的常見分布律
2.4學(xué)習(xí)規(guī)則
2.4.1赫布規(guī)則
2.4.2性能曲面和最佳點(diǎn)
2.5性能優(yōu)化
2.5.1最速下降法
2.5.2牛頓法
2.5.3共軛梯度法
2.6信息與熵
2.6.1信息及信息量
2.6.2信息熵
2.6.3聯(lián)合熵與條件熵
2.6.4相對(duì)熵與交叉熵
2.6.5重要定理
2.6.6隨機(jī)過程的熵率
第二篇神經(jīng)網(wǎng)絡(luò)篇
第3章人工神經(jīng)網(wǎng)絡(luò)
3.1神經(jīng)網(wǎng)絡(luò)
3.1.1神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與神經(jīng)元
3.1.2McCullochPitts網(wǎng)絡(luò)
3.1.3人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)
3.1.4人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式
3.2感知器
3.2.1單層感知器
3.2.2雙層感知器
3.2.3多層感知器
3.3BP學(xué)習(xí)算法
3.4案例1： 基于PCABP神經(jīng)網(wǎng)絡(luò)的數(shù)字儀器識(shí)別技術(shù)
3.4.1表盤區(qū)域提取
3.4.2圖像預(yù)處理
3.4.3字符分割
3.4.4字符識(shí)別的神經(jīng)網(wǎng)絡(luò)
3.4.5實(shí)驗(yàn)設(shè)計(jì)
第4章Hopfield神經(jīng)網(wǎng)絡(luò)
4.1離散Hopfield神經(jīng)網(wǎng)絡(luò)
4.1.1網(wǎng)絡(luò)原理
4.1.2網(wǎng)絡(luò)架構(gòu)
4.2連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)
4.2.1能量函數(shù)與狀態(tài)方程
4.2.2網(wǎng)絡(luò)架構(gòu)
4.2.3優(yōu)化架構(gòu)
4.3案例2： 基于連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)的三維地形路徑規(guī)劃算法
4.3.1地形函數(shù)模型
4.3.2三維地形建模
4.3.3三維地形下路徑規(guī)劃算法
4.3.4仿真實(shí)驗(yàn)與結(jié)果分析
第5章脈沖耦合神經(jīng)網(wǎng)絡(luò)
5.1脈沖耦合神經(jīng)網(wǎng)絡(luò)模型
5.1.1Eckhorn神經(jīng)元模型
5.1.2脈沖耦合神經(jīng)網(wǎng)絡(luò)模型原理
5.1.3PCNN參數(shù)的作用
5.2PCNN點(diǎn)火行為
5.2.1無耦合連接
5.2.2耦合連接
5.3PCNN的特性
5.3.1變閾值特性
5.3.2捕獲特性
5.3.3動(dòng)態(tài)特性
5.3.4同步脈沖發(fā)放特性
5.4交叉皮層模型
5.5貝葉斯連接域神經(jīng)網(wǎng)絡(luò)模型
5.5.1帶噪聲的神經(jīng)元發(fā)放方式
5.5.2神經(jīng)元輸入的貝葉斯耦合方式
5.5.3神經(jīng)元之間的競爭關(guān)系
5.6案例3： 基于PCNN和圖像熵的各向異性擴(kuò)散模型
5.6.1各向異性擴(kuò)散模型
5.6.2IEAD模型
5.6.3PCNNIEAD模型
5.6.4仿真實(shí)驗(yàn)與結(jié)果分析
第三篇卷積神經(jīng)網(wǎng)絡(luò)篇
第6章深度卷積神經(jīng)網(wǎng)絡(luò)
6.1深度學(xué)習(xí)框架
6.2卷積神經(jīng)網(wǎng)絡(luò)模型
6.2.1卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
6.2.2卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
6.3卷積神經(jīng)網(wǎng)絡(luò)原理
6.3.1標(biāo)準(zhǔn)卷積
6.3.2卷積連接
6.3.3卷積層
6.3.4池化層
6.4激活函數(shù)
6.5學(xué)習(xí)策略
6.5.1損失函數(shù)
6.5.2批標(biāo)準(zhǔn)化
6.5.3多監(jiān)督學(xué)習(xí)
6.6規(guī)范化技術(shù)
6.7常見的幾種卷積神經(jīng)網(wǎng)絡(luò)
6.7.1殘差網(wǎng)絡(luò)
6.7.2遞歸結(jié)構(gòu)
6.7.3多路徑結(jié)構(gòu)
6.7.4稠密連接結(jié)構(gòu)
6.7.5LeNet 5
6.7.6AlexNet
6.7.7GoogLeNet
6.8案例4： 基于卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制信號(hào)識(shí)別算法
6.8.1信號(hào)模型和累積量特征
6.8.2基于卷積神經(jīng)網(wǎng)絡(luò)的調(diào)制信號(hào)識(shí)別算法
6.8.3仿真實(shí)驗(yàn)與結(jié)果分析
6.9案例5： 基于深度學(xué)習(xí)的信號(hào)性能特征分析
6.9.1通信信號(hào)分類特征
6.9.2基于深度神經(jīng)網(wǎng)絡(luò)的有限元判別分析
6.9.3仿真實(shí)驗(yàn)與結(jié)果分析
第7章混合空洞卷積神經(jīng)網(wǎng)絡(luò)
7.1空洞卷積
7.1.1增加卷積多樣性的方法
7.1.2卷積多樣性的表征
7.2空洞卷積神經(jīng)網(wǎng)絡(luò)
7.2.1空洞卷積的原理
7.2.2空洞卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)
7.2.3空洞卷積神經(jīng)網(wǎng)絡(luò)模型性能評(píng)價(jià)
7.2.4模型架構(gòu)
7.3混合空洞卷積神經(jīng)網(wǎng)絡(luò)
7.3.1混合空洞卷積神經(jīng)網(wǎng)絡(luò)原理
7.3.2混合空洞卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)
7.3.3混合空洞卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)
7.4混合空洞Faster RCNN模型
7.4.1RCNN模型
7.4.2Fast RCNN模型
7.4.3Faster RCNN模型
7.4.4混合空洞Faster RCNN模型原理
7.4.5HDFRCNN模型設(shè)計(jì)
7.4.6HDFRCNN模型架構(gòu)
7.5多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.6多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.7案例6： 基于多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法
7.7.1常用的遙感圖像融合算法
7.7.2基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重構(gòu)算法
7.7.3超分辨率多尺度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.7.4仿真實(shí)驗(yàn)與結(jié)果分析
7.8案例7： 基于多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)的遙感圖像融合算法
7.8.1多尺度多深度空洞卷積神經(jīng)網(wǎng)絡(luò)
7.8.2仿真實(shí)驗(yàn)與結(jié)果分析
第8章深度生成對(duì)抗與強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)
8.1概率生成模型
8.1.1依概率分類
8.1.2密度估計(jì)
8.1.3生成樣本
8.1.4生成模型與判別模型
8.2變分自編碼器
8.2.1含隱變量的生成模型
8.2.2推斷網(wǎng)絡(luò)
8.2.3生成網(wǎng)絡(luò)
8.2.4綜合模型
8.2.5再參數(shù)化
8.2.6訓(xùn)練
8.3生成對(duì)抗網(wǎng)絡(luò)
8.3.1顯式與隱式密度模型
8.3.2網(wǎng)絡(luò)分解
8.4深度強(qiáng)化對(duì)抗學(xué)習(xí)網(wǎng)絡(luò)
8.4.1Exposure圖像增強(qiáng)模型
8.4.2相對(duì)對(duì)抗學(xué)習(xí)及獎(jiǎng)勵(lì)函數(shù)
8.4.3評(píng)論家正則化策略梯度算法
8.4.4網(wǎng)絡(luò)結(jié)構(gòu)
8.5循環(huán)生成對(duì)抗網(wǎng)絡(luò)
8.5.1CycleGAN結(jié)構(gòu)
8.5.2CycleGAN的損失函數(shù)
8.5.3改進(jìn)的CycleGAN
8.6案例8： 基于生成對(duì)抗網(wǎng)絡(luò)的高動(dòng)態(tài)范圍圖像生成技術(shù)
8.6.1網(wǎng)絡(luò)模型及相關(guān)模塊
8.6.2HDRGAN目標(biāo)函數(shù)
8.6.3仿真實(shí)驗(yàn)與結(jié)果分析
第四篇循環(huán)遞歸神經(jīng)網(wǎng)絡(luò)篇
第9章循環(huán)神經(jīng)網(wǎng)絡(luò)
9.1RNN模型
9.1.1RNN原理
9.1.2RNN的損失函數(shù)
9.1.3BPTT算法
9.2基于SGD優(yōu)化的RNN算法 
9.3基于RLS優(yōu)化的RNN算法
9.3.1RLS算法
9.3.2RLS算法優(yōu)化RNN
9.3.3RLSRNN的改進(jìn) 
9.4案例9： 一種關(guān)聯(lián)RNN的非侵入式負(fù)荷辨識(shí)算法
9.4.1關(guān)聯(lián)RNN的負(fù)荷辨識(shí)算法
9.4.2仿真實(shí)驗(yàn)與結(jié)果分析
9.5案例10： 基于DTCWT和RNN編碼器的圖像壓縮算法
9.5.1數(shù)學(xué)模型
9.5.2仿真實(shí)驗(yàn)與結(jié)果分析
第10章深度遞歸級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)
10.1深度遞歸卷積神經(jīng)網(wǎng)絡(luò)
10.1.1遞歸卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
10.1.2深度遞歸級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)框架
10.2雙線性遞歸神經(jīng)網(wǎng)絡(luò)
10.2.1BRNN結(jié)構(gòu)
10.2.2粒子群算法優(yōu)化BRNN
10.33D卷積遞歸神經(jīng)網(wǎng)絡(luò) 
10.3.13DCNN提取空間特征 
10.3.2BiRNN模型
10.3.33DCRNN結(jié)構(gòu)
10.4案例11： 基于注意力機(jī)制與門控循環(huán)單元的圖像去雨算法
10.4.1圖像去雨的注意力機(jī)制與門控循環(huán)網(wǎng)絡(luò)模型
10.4.2仿真實(shí)驗(yàn)與結(jié)果分析
10.5案例12： 基于級(jí)聯(lián)遞歸殘差卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像超分辨率算法
10.5.1網(wǎng)絡(luò)架構(gòu)
10.5.2三層跳接遞歸殘差網(wǎng)絡(luò)架構(gòu)
10.5.3仿真實(shí)驗(yàn)與結(jié)果分析
第11章長短期記憶神經(jīng)網(wǎng)絡(luò)
11.1長短期記憶神經(jīng)網(wǎng)絡(luò)
11.1.1前向計(jì)算
11.1.2LSTM網(wǎng)絡(luò)的BPTT算法
11.1.3誤差項(xiàng)沿時(shí)間反向傳遞
11.1.4權(quán)重梯度計(jì)算
11.2雙路卷積長短期記憶神經(jīng)網(wǎng)絡(luò)
11.3案例13： 基于LSTM網(wǎng)絡(luò)的非合作水聲信號(hào)調(diào)制識(shí)別算法
11.3.1基于通信信號(hào)瞬時(shí)特征的LSTM分類器
11.3.2評(píng)估標(biāo)準(zhǔn)
11.3.3抗噪聲性能
11.3.4仿真實(shí)驗(yàn)與結(jié)果分析
11.4案例14： 混合長短期記憶網(wǎng)絡(luò)的指紋室外定位算法
11.4.1數(shù)據(jù)集和模型
11.4.2仿真實(shí)驗(yàn)與結(jié)果分析
附錄
參考文獻(xiàn)