基于混合方法的自然語言處理：神經(jīng)網(wǎng)絡模型與知識圖譜的結合

推薦序一
推薦序二
譯者序
前言
第一部分　預備知識和構建模塊
第1章　混合自然語言處理簡介 2
1.1　知識圖譜、嵌入和語言模型簡史 2
1.2　自然語言處理中知識圖譜和神經(jīng)網(wǎng)絡方法的結合 4
第2章　單詞、意義和知識圖譜嵌入 6
2.1　引言 6
2.2　分布式單詞表示 6
2.3　詞嵌入 7
2.4　意義和概念嵌入 8
2.5　知識圖譜嵌入 9
2.6　本章小結 13
第3章　理解詞嵌入和語言模型 14
3.1　引言 14
3.2　語言模型 15
3.2.1　統(tǒng)計語言模型 15
3.2.2　神經(jīng)語言模型 16
3.3　NLP遷移學習的預訓練模型微調(diào) 16
3.3.1　ELMo 16
3.3.2　GPT 17
3.3.3　BERT 17
3.4　機器人檢測中預訓練語言模型的微調(diào) 18
3.4.1　實驗結果與討論 21
3.4.2　使用Transformer庫對BERT進行微調(diào) 21
3.5　本章小結 27
第4章　從文本中捕獲意義作為詞嵌入 28
4.1　引言 28
4.2　下載一個小文本語料庫 29
4.3　一種學習詞嵌入的算法 29
4.4　使用Swivel prep生成共現(xiàn)矩陣 30
4.5　從共現(xiàn)矩陣中學習嵌入 31
4.6　讀取并檢查存儲的二進制嵌入 32
4.7　練習：從古騰堡工程中創(chuàng)建詞嵌入 33
4.7.1　下載語料庫并進行預處理 33
4.7.2　學習嵌入 34
4.7.3　檢查嵌入 34
4.8　本章小結 34
第5章　捕獲知識圖譜嵌入 35
5.1　引言 35
5.2　知識圖譜嵌入 35
5.3　為WordNet創(chuàng)建嵌入 37
5.3.1　選擇嵌入算法：HolE 37
5.3.2　將WordNet知識圖譜轉換為所需輸入 39
5.3.3　學習嵌入 44
5.3.4　檢查嵌入結果 44
5.4　練習 47
5.4.1　練習：在自己的知識圖譜上訓練嵌入 47
5.4.2　練習：檢查WordNet 3.0的預計算嵌入 47
5.5　本章小結 48
第二部分　神經(jīng)網(wǎng)絡與知識圖譜的結合
第6章　從文本語料庫、知識圖譜和語言模型中構建混合表達 50
6.1　引言 50
6.2　準備工作和說明 51
6.3　Vecsigrafo的概念及構建方式 51
6.4　實現(xiàn) 53
6.5　訓練Vecsigrafo 54
6.5.1　標記化和詞義消歧 56
6.5.2　詞匯表和共現(xiàn)矩陣 58
6.5.3　從共現(xiàn)矩陣學習嵌入 62
6.5.4　檢查嵌入 64
6.6　練習：探索一個預先計算好的Vecsigrafo 66
6.7　從Vecsigrafo到Transigrafo 68
6.7.1　安裝設置 70
6.7.2　訓練Transigrafo 71
6.7.3　擴展知識圖譜的覆蓋范圍 73
6.7.4　評估 Transigrafo 73
6.7.5　檢查Transigrafo中的義項嵌入 75
6.7.6　探索Transigrafo嵌入的穩(wěn)定性 77
6.7.7　額外的反思 81
6.8　本章小結 81
第7章　質(zhì)量評估 82
7.1　引言 82
7.2　評估方法的概述 83
7.3　練習1：評估單詞和概念嵌入 84
7.3.1　可視化探索 84
7.3.2　內(nèi)在評估 85
7.3.3　詞匯預測圖 87
7.3.4　外在評估 90
7.4　練習2：評價通過嵌入獲取的關系知識 90
7.4.1　下載embrela項目 91
7.4.2　下載生成的數(shù)據(jù)集 91
7.4.3　加載待評估的嵌入 92
7.4.4　學習模型 94
7.4.5　分析模型的結果 94
7.4.6　數(shù)據(jù)預處理：合并且增加字段 96
7.4.7　計算范圍閾值和偏差數(shù)據(jù)集檢測 97
7.4.8　發(fā)現(xiàn)統(tǒng)計上有意義的模型 99
7.4.9　關系型知識的評估結論 101
7.5　案例研究：評估和對比Vecsigrafo嵌入 101
7.5.1　比較研究 101
7.5.2　討論 111
7.6　本章小結 114
第8章　利用Vecsigrafo捕獲詞法、語法和語義信息 116
8.1　引言 116
8.2　方法 118
8.2.1　Vecsigrafo：基于語料的單詞–概念嵌入 118
8.2.2　聯(lián)合嵌入空間 119
8.2.3　嵌入的評估 119
8.3　評估 120
8.3.1　數(shù)據(jù)集 121
8.3.2　單詞相似度 121
8.3.3　類比推理 124
8.3.4　單詞預測 125
8.3.5　科學文檔的分類 127
8.4　討論 129
8.5　練習：使用surface form對科學文獻進行分類 130
8.5.1　導入所需的庫 130
8.5.2　下載surface form的詞嵌入和SciGraph論文 131
8.5.3　讀取并準備分類數(shù)據(jù)集 131
8.5.4　surface form的詞嵌入 133
8.5.5　創(chuàng)建嵌入層 134
8.5.6　訓練一個卷積神經(jīng)網(wǎng)絡 134
8.6　本章小結 136
第9章　知識圖譜的詞嵌入空間對齊與應用 137
9.1　引言 137
9.2　概述及可能的應用 138
9.2.1　知識圖譜的補全 139
9.2.2　超越多語言性：跨模態(tài)的詞嵌入 139
9.3　詞嵌入空間的對齊技術 140
9.3.1　線性對齊 140
9.3.2　非線性對齊 146
9.4　練習：尋找古代英語和現(xiàn)代英語的對應 146
9.4.1　下載小型文本語料庫 146
9.4.2　學習基于老莎士比亞語料庫的Swivel詞嵌入 147
9.4.3　在WordNet之上加載UMBC的Vecsigrafo 149
9.4.4　練習的結論 149
9.5　本章小結 150
第三部分　應用
第10章　一種虛假信息分析的混合方法 152
10.1　引言 152
10.2　虛假信息檢測 153
10.2.1　定義和背