大規(guī)模人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)

第1章 緒論
1. 1 人工神經(jīng)網(wǎng)絡(luò)介紹
1. 1. 1 人工神經(jīng)網(wǎng)絡(luò)的概述和發(fā)展史
1. 1. 2 神經(jīng)元的形式化描述和人工神經(jīng)網(wǎng)絡(luò)模型
1. 2 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢
1. 2. 1 生物智能的啟發(fā)
1. 2. 2 泛化能力
1. 2. 3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢
1. 3 神經(jīng)場學(xué)習(xí)理論
1. 3. 1 神經(jīng)場理論的目的和意義
1. 3. 2 神經(jīng)場理論的研究現(xiàn)狀
1. 4 知識可增殖人工神經(jīng)網(wǎng)絡(luò)
參考文獻
第2章 系統(tǒng)熵
2. 1 信息論的原理
2. 1. 1 熵
2. 1. 2 聯(lián)合熵與條件熵
2. 1. 3 相對熵
2. 1. 4 互信息
2. 1. 5 微分熵
2. 1. 6 隨機變量序列下的鏈?zhǔn)揭?guī)則
2. 1. 7 信息論中的一些基本不等式
2. 2 系統(tǒng)熵
2. 2. 1 最大熵原理
2. 2. 2 最小相對信息原理
2. 2. 3 最小平均能量原理
2. 2. 4 有序和無序平衡原理
2. 2. 5 系統(tǒng)平衡態(tài)的熵
2. 2. 6 平衡狀態(tài)的平均能量
2. 2. 7 最大熵分布
參考文獻
第3章 神經(jīng)場研究的數(shù)學(xué)基礎(chǔ)
3. 1 微分流形的基本概念
3. 1. 1 微分流形
3. 1. 2 切向量和切向量空間
3. 1. 3 Riemannian流形與仿射聯(lián)絡(luò)
3. 1. 4 子流形
3. 2 信息幾何理論
3. 2. 1 對偶平坦流形
3. 2. 2 統(tǒng)計模型流形的幾何結(jié)構(gòu)
3. 2. 3 指數(shù)流形上的幾何
3. 3 流形上的拓撲結(jié)構(gòu)分析理論
參考文獻
第4章 傳統(tǒng)學(xué)習(xí)算法
4. 1 感知器算法
4. 1. 1 感知器基本性質(zhì)
4. 1. 2 感知器梯度算法
4. 1. 3 感知器算法的收斂性
4. 1. 4 線性閾值部件感知器
4. 2 誤差反傳遞算法
4. 2. 1 兩層網(wǎng)的缺點
4. 2. 2 擴展誤差 △ 規(guī)則
4. 2. 3 模擬結(jié)果
4. 3 競爭學(xué)習(xí)算法
4. 3. 1 競爭學(xué)習(xí)
4. 3. 2 形式分析
4. 3. 3 實驗結(jié)果
4. 4 Hopfield模型
4. 4. 1 Ising模型
4. 4. 2 平均場近似模型
4. 4. 3 Hopfield模型
4. 4. 4 Hopfidd權(quán)值公式證明
4. 4. 5 連續(xù)Hopfield網(wǎng)絡(luò)模型
4. 4. 6 Hopfidd網(wǎng)絡(luò)的應(yīng)用
4. 5 徑向基神經(jīng)網(wǎng)絡(luò)算法
4. 5. 1 RBF的介紹
4. 5. 2 徑向基函數(shù)網(wǎng)絡(luò)介紹
4. 5. 3 RBF網(wǎng)絡(luò)訓(xùn)練的準(zhǔn)則和常用算法
4. 5. 4 RBF網(wǎng)絡(luò)的交替梯度算法
4. 5. 5 一維梯度算法
4. 5. 6 在線自然交替梯度算法
4. 5. 7 共軛梯度算法
4. 6 本章相關(guān)知識
參考文獻
第5章 概率網(wǎng)絡(luò)模型
5. 1 網(wǎng)絡(luò)
5. 2 玻耳茲曼機器
5. 2. 1 玻耳茲曼機器的相關(guān)理論
5. 2. 2 玻耳茲曼機器
5. 3 玻耳茲曼機器的互信息最大化原則
5. 4 玻耳茲曼機器的冗余度最小化和信息最大化
5. 5 EM算法
5. 5. 1 分層前饋網(wǎng)絡(luò)的概率模型
5. 5. 2 EM算法的基本思想
5. 5. 3 EM算法的具體步驟
5. 5. 4 編程公式推導(dǎo)
5. 6 本章相關(guān)知識
參考文獻
第6章 神經(jīng)網(wǎng)絡(luò)的指數(shù)簇表示
6. 1 神經(jīng)網(wǎng)絡(luò)的表示與學(xué)習(xí)
6. 1. 1 前饋網(wǎng)絡(luò)的變換機理
6. 1. 2 反饋網(wǎng)絡(luò)模型動力學(xué)系統(tǒng)模型
6. 1. 3 自組織神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的競爭特性和機理
6. 1. 4 神經(jīng)網(wǎng)絡(luò)的統(tǒng)計模型表示
6. 2 人工神經(jīng)網(wǎng)絡(luò)系統(tǒng)的流形表示
6. 2. 1 指數(shù)簇流形與人工神經(jīng)網(wǎng)絡(luò)
6. 2. 2 彎曲指數(shù)簇流形與人工神經(jīng)網(wǎng)絡(luò)
6. 3 神經(jīng)場學(xué)習(xí)理論
6. 3. 1 神經(jīng)場表示
6. 3. 2 神經(jīng)場學(xué)習(xí)模型的形式化表示
6. 3. 3 神經(jīng)場學(xué)習(xí)理論的幾何觀點
6. 3. 4 神經(jīng)場學(xué)習(xí)算法
參考文獻
第7章 增殖神經(jīng)網(wǎng)絡(luò)
7. 1 增殖性問題
7. 1. 1 增殖性研究
7. 1. 2 神經(jīng)網(wǎng)絡(luò)集成
7. 1. 3 增量學(xué)習(xí)
7. 2 神經(jīng)場增殖性研究的可行性理論分析
7. 2. 1 神經(jīng)場結(jié)構(gòu)描述空間
7. 2. 2 神經(jīng)場復(fù)雜結(jié)構(gòu)可分解機理
7. 3 基于結(jié)構(gòu)的神經(jīng)場學(xué)習(xí)逼近理論
7. 3. 1 功能模塊化的結(jié)構(gòu)表示機理
7. 3. 2 知識增殖學(xué)習(xí)的結(jié)構(gòu)表示機理
7. 4 復(fù)形
參考文獻
第8章 層次化混合模型的知識增殖性
8. 1 混合專家模型
8. 1. 1 混合專家模型的結(jié)構(gòu)
8. 1. 2 混合模型結(jié)構(gòu)的流形編碼表示
8. 2 分層混合神經(jīng)網(wǎng)絡(luò) HME 模型
8. 2. 1 工作原理
8. 2. 2 HME模型的EM學(xué)習(xí)算法
8. 2. 3 改進的EM學(xué)習(xí)算法
8. 3 HME模型增殖性分析
8. 4 動態(tài)多叉樹算法
8. 4. 1 算法原理
8. 4. 2 算法實現(xiàn)
8. 4. 3 系統(tǒng)擴展實現(xiàn)
8. 4. 4 算法分析與比較
參考文獻