神經(jīng)網(wǎng)絡加速器的計算架構(gòu)及存儲優(yōu)化技術(shù)研究

第1章  緒論 1
1.1  研究背景 1
1.2  研究現(xiàn)狀 3
1.2.1  神經(jīng)網(wǎng)絡算法的發(fā)展歷程  3
1.2.2  神經(jīng)網(wǎng)絡加速器的研究現(xiàn)狀  7
1.3  研究動機 10
1.4  研究思路與研究內(nèi)容 11
1.4.1  研究思路  11
1.4.2  研究內(nèi)容 12
第2章  面向通用神經(jīng)網(wǎng)絡近似的神經(jīng)網(wǎng)絡計算架構(gòu)RNA 14
2.1  引言 14
2.2  問題背景 17
2.2.1  神經(jīng)網(wǎng)絡近似與加速 17
2.2.2  通用架構(gòu)模型 17
2.3  計算模式  19
2.3.1  RNA 架構(gòu)概覽 19
2.3.2  FP 計算模式 20
2.3.3  NE 計算模式 21
2.3.4  CE 計算模式 23
2.3.5  調(diào)度框架 24
2.4  RNA 架構(gòu)設計  31
2.4.1  RNA 架構(gòu)的PE 設計   31
2.4.2  RNA 架構(gòu)的互連設計 31
2.4.3  RNA 架構(gòu)的控制器設計 34
2.5  實驗結(jié)果 37
2.5.1  實驗設置 37
2.5.2  RNA 架構(gòu)的版圖和硬件指標 38
2.5.3  RNA 架構(gòu)的性能分析 39
2.5.4  RNA 架構(gòu)的參數(shù)探索 47
2.6  小結(jié) 50
第3章  面向?qū)Ｓ萌斯ぶ悄茴I(lǐng)域的神經(jīng)網(wǎng)絡計算架構(gòu)DNA  51
3.1  引言 51
3.2  問題背景 53
3.2.1  CNN 模型 53
3.2.2  以CNN 加速器為中心的計算系統(tǒng)架構(gòu) 55
3.2.3  CNN 加速的兩大執(zhí)行目標和挑戰(zhàn)  56
3.3  計算模式 57
3.3.1  計算模式概覽 57
3.3.2  數(shù)據(jù)復用模式 57
3.3.3  卷積映射方法 66
3.3.4  對全連接層的支持 70
3.4  DNA 架構(gòu)設計   71
3.4.1  可重構(gòu)數(shù)據(jù)通路設計 71
3.4.2  可重構(gòu)卷積引擎設計 73
3.4.3  DNA 架構(gòu)的工作流程和調(diào)度框架  77
3.5  實驗結(jié)果  79
3.5.1  實驗設置    79
3.5.2  DNA 架構(gòu)的版圖和硬件指標 79
3.5.3  DNA 架構(gòu)的訪存和整體能耗分析 80
3.5.4  DNA 架構(gòu)的性能分析 84
3.5.5  DNA 架構(gòu)與國際工作的比較 85
3.5.6  基于DNA 架構(gòu)的人工智能計算芯片Thinker  88
3.6  小結(jié)  90
第4章  基于數(shù)據(jù)保持時間的神經(jīng)網(wǎng)絡存儲優(yōu)化框架RANA  92
4.1  引言  92
4.2  問題背景   95
4.2.1  CNN 模型   95
4.2.2  CNN 加速器 96
4.2.3  CNN 加速器的緩存容量問題  97
4.2.4  eDRAM 及數(shù)據(jù)保持問題  98
4.3  研究動機   99
4.3.1  實驗平臺  99
4.3.2  問題分析  100
4.3.3  優(yōu)化機會 102
4.4  RANA 框架 102
4.4.1  RANA 框架概覽  102
4.4.2  基于數(shù)據(jù)保持時間的訓練方法  104
4.4.3  混合計算模式   107
4.4.4  刷新優(yōu)化的eDRAM 控制器  113
4.5  實驗結(jié)果   114
4.5.1  實驗設置 114
4.5.2  對RANA 框架的評估  115
4.5.3  在DaDianNao 上的擴展性分析  120
4.6  小結(jié)  121
第5章  總結(jié)與展望 123
5.1  工作總結(jié)  123
5.2  未來工作展望  124
參考文獻   126
在學期間發(fā)表的學術(shù)論文與研究成果  137
致謝   139