自然語言處理技術(shù)與應(yīng)用

第 1章 自然語言處理初探 1
1.1 什么是自然語言處理 2
1.1.1 自然語言處理的概念 2
1.1.2 自然語言處理的研究任務(wù) 3
1.2 自然語言處理的發(fā)展歷程 5
1.3 自然語言處理相關(guān)知識(shí)的構(gòu)成 7
1.3.1 基礎(chǔ)術(shù)語 7
1.3.2 知識(shí)結(jié)構(gòu) 8
1.4 探討自然語言處理的層面 9
1.5 自然語言處理與人工智能 10
1.5.1 智慧醫(yī)療 11
1.5.2 智慧司法. 11
1.5.3 智慧金融 11
1.6 本章小結(jié) 12
第 2章 使用Python進(jìn)行自然語言基礎(chǔ)處理 13
2.1 正則表達(dá)式在自然語言處理中的基本應(yīng)用 14
2.1.1 匹配字符串 14
2.1.2 使用轉(zhuǎn)義符 17
2.1.3 抽取文本中的數(shù)字 18
2.2 NumPy使用詳解 13.2 19
2.2.1 創(chuàng)建數(shù)組 19
2.2.2 獲取NumPy中數(shù)組的維度 20
2.2.3 獲取本地?cái)?shù)據(jù) 21
2.2.4 正確讀取數(shù)據(jù) 22
2.2.5 數(shù)組索引 22
2.2.6 數(shù)組切片 23
2.2.7 數(shù)組比較 23
2.2.8 替代值 24
2.2.9 數(shù)據(jù)類型轉(zhuǎn)換 25
2.2.10 NumPy的統(tǒng)計(jì)計(jì)算方法 25
2.3 本章小結(jié) 26
第3章 使用NLTK獲取和構(gòu)建語料庫(kù) 27
3.1 語料庫(kù)基礎(chǔ) 28
3.2 NLTK 29
3.2.1 NLTK簡(jiǎn)介 29
3.2.2 安裝NLTK 30
3.2.3 使用NLTK 31
3.2.4 在Python NLTK下使用Stanford NLP 36
3.3 獲取語料庫(kù) 40
3.3.1 通過語料庫(kù)網(wǎng)站獲取語料庫(kù) 40
3.3.2 通過編寫程序獲取語料庫(kù) 41
3.3.3 通過NLTK獲取語料庫(kù) 42
3.4 綜合案例：走進(jìn)《紅樓夢(mèng)》 44
3.4.1 數(shù)據(jù)采集和預(yù)處理 44
3.4.2 構(gòu)建本地語料庫(kù) 45
3.4.3 語料操作 45
3.5 本章小結(jié) 48
第4章 jieba中文分詞 49
4.1 中文分詞簡(jiǎn)介 50
4.2 規(guī)則分詞 50
4.2.1 正向 匹配法 51
4.2.2 逆向 匹配法 52
4.2.3 雙向 匹配法 54
4.3 統(tǒng)計(jì)分詞 57
4.3.1 統(tǒng)計(jì)語言模型 57
4.3.2 HMM 58
4.3.3 其他統(tǒng)計(jì)分詞算法 65
4.4 混合分詞 65
4.5 Jieba高頻詞提取 66
4.5.1 jieba的3種分詞模式 66
4.5.2 實(shí)戰(zhàn)之高頻詞提取 66
4.6 本章小結(jié) 69
第5章 jieba詞性標(biāo)注 71
5.1 詞性標(biāo)注簡(jiǎn)介 72
5.2 詞性標(biāo)注規(guī)范 72
5.3 jieba分詞中的詞性標(biāo)注 74
5.4 本章小結(jié) 75
第6章 命名實(shí)體識(shí)別之日期識(shí)別和地名識(shí)別 77
6.1 命名實(shí)體識(shí)別簡(jiǎn)介 78
6.2 基于CRF的命名實(shí)體識(shí)別 79
6.3 命名實(shí)體識(shí)別之日期識(shí)別 82
6.4 命名實(shí)體識(shí)別之地名識(shí)別 86
6.4.1 安裝CRF++ 86
6.4.2 確定標(biāo)簽體系 87
6.4.3 語料數(shù)據(jù)處理 88
6.4.4 特征模板設(shè)計(jì) 90
6.4.5 模型訓(xùn)練和測(cè)試 91
6.4.6 模型使用 93
6.5 本章小結(jié) 94
第7章 提取文本關(guān)鍵詞 95
7.1 關(guān)鍵詞提取算法 96
7.2 TF-IDF算法 96
7.3 TextRank算法 97
7.4 LSA/LSI/LDA算法 99
7.4.1 LSA/LSI算法 99
7.4.2 LDA算法 100
7.5 提取文本關(guān)鍵詞 101
7.6 本章小結(jié) 108
第8章 詞向量算法 109
8.1 word2vec詞向量算法 110
8.1.1 神經(jīng)網(wǎng)絡(luò)語言模型 110
8.1.2 C&W模型 112
8.1.3 CBOW模型和Skip-gram模型 113
8.2 doc2vec/str2vec文本向量化算法 114
8.3 將網(wǎng)頁(yè)文本向量化 116
8.3.1 詞向量的訓(xùn)練 116
8.3.2 段落向量的訓(xùn)練 119
8.3.3 利用word2vec詞向量算法和doc2vec文本向量化算法計(jì)算網(wǎng)頁(yè)相似度 120
8.4 本章小結(jié) 124
第9章 句法分析 125
9.1 句法分析概述 126
9.1.1 句法分析的基本概念 126
9.1.2 句法分析的基本方法 126
9.2 句法分析的數(shù)據(jù)集與評(píng)測(cè)方法 127
9.2.1 句法分析的數(shù)據(jù)集 127
9.2.2 句法分析的評(píng)測(cè)方法 129
9.3 句法分析的常用方法 130
9.3.1 基于PCFG的句法分析 130
9.3.2 基于 間隔馬爾可夫網(wǎng)絡(luò)的句法分析 131
9.3.3 基于CRF的句法分析 132
9.3.4 基于移進(jìn)-歸約的句法分析 132
9.4 使用Standford Parser的PCFG進(jìn)行句法分析 134
9.4.1 Stanford Parser 134
9.4.2 基于PCFG的中文句法分析實(shí)戰(zhàn) 135
9.5 本章小結(jié) 136
第 10章 情感分析 137
10.1 情感分析的應(yīng)用 138
10.2 情感分析的基本方法 139
10.2.1 詞法分析 139
10.2.2 機(jī)器學(xué)習(xí) 140
10.2.3 混合分析 140
10.3 電影評(píng)論情感分析 141
10.3.1 模型選擇 141
10.3.2 載入數(shù)據(jù) 144
10.3.3 輔助函數(shù) 146
10.3.4 模型設(shè)置 147
10.3.5 調(diào)參配置 148
10.3.6 訓(xùn)練過程 149
10.4 本章小結(jié) 149
第 11章 機(jī)器學(xué)習(xí)在自然語言處理的應(yīng)用 151
11.1 幾種常用的機(jī)器學(xué)習(xí)方法 152
11.1.1 文本分類 152
11.1.2 特征提取 152
11.1.3 標(biāo)注 153
11.1.4 搜索與排序 154
11.1.5 系統(tǒng) 155
11.1.6 序列學(xué)習(xí) 156
11.2 無監(jiān)督學(xué)習(xí)的文本聚類 156
11.3 文本分類實(shí)戰(zhàn)-中文垃圾郵件分類 158
11.4 文本聚類實(shí)戰(zhàn)——用K均值聚類對(duì)豆瓣讀書數(shù)據(jù)聚類 164
11.5 本章小結(jié) 168
第 12章 深度學(xué)習(xí)在自然語言中的應(yīng)用 169
12.1 RNN簡(jiǎn)介 170
12.1.1 簡(jiǎn)單RNN 170
12.1.2 LSTM 172
12.1.3 Attention機(jī)制 174
12.2 Seq2Seq問答機(jī)器人 175
12.2.1 Seq2Seq模型 175
12.2.2 實(shí)戰(zhàn)Seq2Seq聊天機(jī)器人 176
12.3 本章小結(jié) 184
第 13章 自然語言處理典型的應(yīng)用場(chǎng)景 185
13.1 機(jī)器翻譯與寫作 186
13.1.1 機(jī)器翻譯 186
13.1.2 機(jī)器寫作 195
13.2 智能問答與對(duì)話 204
13.2.1 智能問答 204
13.2.2 智能對(duì)話系統(tǒng) 204
13.2.3 問答系統(tǒng)的主要組成 206
13.2.4 不同類型的問答系統(tǒng) 207
13.2.5 前景與挑戰(zhàn) 218
13.3 個(gè)性化推薦 218
13.3.1 系統(tǒng)的概念 218
13.3.2 個(gè)性化推薦的基本問題 219
13.3.3 的可解釋性 222
13.3.4 前景與挑戰(zhàn) 223
13.4 本章小結(jié) 226