Lucene+nutch搜索引擎開發(fā)

第1篇　入門篇
　第1章　搜索引擎概述　
　　1.1　什么是搜索引擎　
　　　1.1.1　搜索引擎與信息檢索　
　　　1.1.2　搜索引擎的概念　
　　　1.1.3　搜索引擎的使用　
　　　1.1.4　搜索引擎發(fā)展歷史　
　　1.2　搜索引擎分類　
　　　1.2.1　按照工作方式分類　
　　　1.2.2　按照領(lǐng)域范圍分類　
　　　1.2.3　信息類型分類　
　　1.3　主流搜索引擎　
　　　1.3.1　全球著名搜索引擎　
　　　1.3.2　中文搜索引擎的發(fā)展歷史　
　　　1.3.3　著名中文搜索引擎　
　　　1.3.4　其他細(xì)化搜索引擎　
　　1.4　搜索引擎評價原則　
　　　1.4.1　評價指標(biāo)體系　
　　　1.4.2　其他評測因素　
　　1.5　搜索引擎相關(guān)資源　
　　　1.5.1　搜索引擎開源項目　
　　　1.5.2　搜索引擎研究網(wǎng)站　
　　　1.5.3　搜索論壇和廠商黑板報　
　　1.6　系統(tǒng)運(yùn)行環(huán)境準(zhǔn)備　
　　　1.6.1　Java環(huán)境安裝設(shè)置　
　　　1.6.2　Tomcat服務(wù)器安裝　
　　　1.6.3　Eclipse開發(fā)環(huán)境準(zhǔn)備　
　　1.7　未來搜索技術(shù)前瞻　
　　　1.7.1　現(xiàn)狀存在問題　
　　　1.7.2　未來發(fā)展趨勢　
　　1.8　小結(jié)　
　第2章　搜索引擎原理探秘　
　　2.1　解密搜索引擎原理　
　　　2.1.1　搜索引擎技術(shù)框架　
　　　2.1.2　網(wǎng)頁信息抓取技術(shù)　
　　　2.1.3　網(wǎng)頁內(nèi)容分析技術(shù)　
　　　2.1.4　網(wǎng)頁索引建立技術(shù)　
　　　2.1.5　用戶檢索與結(jié)果排序　
　　　2.1.6　網(wǎng)頁檢索工具與接口　
　　2.2　網(wǎng)絡(luò)爬蟲簡單實(shí)現(xiàn)　
　　　2.2.1　網(wǎng)絡(luò)蜘蛛功能需求　
　　　2.2.2　網(wǎng)絡(luò)蜘蛛實(shí)現(xiàn)原理　
　　　2.2.3　網(wǎng)絡(luò)爬蟲系統(tǒng)結(jié)構(gòu)　
　　　2.2.4　網(wǎng)頁采集程序設(shè)計　
　　　2.2.5　網(wǎng)頁采集程序?qū)崿F(xiàn)　
　　　2.2.6　程序?qū)崿F(xiàn)存儲擴(kuò)展　
　　2.3　網(wǎng)頁分析程序?qū)崿F(xiàn)　
　　　2.3.1　網(wǎng)頁分析功能需求　
　　　2.3.2　網(wǎng)頁分析實(shí)現(xiàn)原理　
　　　2.3.3　網(wǎng)頁分析系統(tǒng)結(jié)構(gòu)　
　　　2.3.4　網(wǎng)頁分析程序設(shè)計　
　　　2.3.5　文本語素分割與過濾　
　　2.4　網(wǎng)頁索引程序?qū)崿F(xiàn)　
　　　2.4.1　網(wǎng)頁索引功能需求　
　　　2.4.2　網(wǎng)頁索引實(shí)現(xiàn)原理　
　　　2.4.3　網(wǎng)頁索引程序設(shè)計　
　　　2.4.4　網(wǎng)頁索引程序?qū)崿F(xiàn)　
　　2.5　檢索程序?qū)崿F(xiàn)　
　　　2.5.1　檢索功能需求　
　　　2.5.2　檢索實(shí)現(xiàn)原理　
　　　2.5.3　檢索程序設(shè)計　
　　　2.5.4　網(wǎng)頁檢索程序?qū)崿F(xiàn)　
　　2.6　簡單搜索引擎系統(tǒng)　
　　2.7　小結(jié)　
　第3章　開源搜索引擎入門　
　　3.1　開源搜索引擎簡介　
　　　3.1.1　Lucene系統(tǒng)概述　
　　　3.1.2　Nutch概述　
　　3.2　Lucene全文檢索系統(tǒng)部署　
　　　3.2.1　下載Lucene系統(tǒng)　
　　　3.2.2　Lucene部署配置　
　　　3.2.3　Lucene測試運(yùn)行　
　　3.3　Lucene開發(fā)實(shí)例入門　
　　　3.3.1　Lucene實(shí)例功能　
　　　3.3.2　Lucene開發(fā)實(shí)例　
　　　3.3.3　代碼實(shí)例解析　
　　3.4　Nutch開源搜索引擎部署　
　　　3.4.1　Cygwin軟件安裝　
　　　3.4.2　Nutch下載與安裝　
　　　3.4.3　Nutch系統(tǒng)環(huán)境測試　
　　　3.4.4　Nutch搜索頁面部署　
　　3.5　Nutch系統(tǒng)調(diào)試與開發(fā)　
　　　3.5.1　Eclipse中加載Nutch　
　　　3.5.2　Nutch工程編譯與發(fā)布　
　　3.6　小結(jié)　
第2篇　內(nèi)核揭秘篇
　第4章　搜索引擎數(shù)據(jù)獲取　
　　4.1　網(wǎng)絡(luò)蜘蛛原理　
　　　4.1.1　體系結(jié)構(gòu)設(shè)計　
　　　4.1.2　訪問策略與算法　
　　　4.1.3　效率優(yōu)化與更新　
　　　4.1.4　蜘蛛訪問規(guī)范　
　　　4.1.5　開源蜘蛛簡介　
　　4.2　Nutch網(wǎng)絡(luò)蜘蛛　
　　　4.2.1　Nutch網(wǎng)絡(luò)蜘蛛概述　
　　　4.2.2　Nutch抓取模式分類　
　　　4.2.3　抓取測試站點(diǎn)建立　
　　4.3　Nutch局域網(wǎng)抓取　
　　　4.3.1　本地下載準(zhǔn)備　
　　　4.3.2　啟動下載過程　
　　　4.3.3　下載過程解析　
　　　4.3.4　下載多個網(wǎng)站　
　　4.4　Nutch互聯(lián)網(wǎng)抓取　
　　　4.4.1　下載列表獲取　
　　　4.4.2　下載大量網(wǎng)站　
　　4.5　Nutch抓取比較　
　　4.6　Nutch結(jié)果檢測　
　　　4.6.1　網(wǎng)頁內(nèi)容檢索　
　　　4.6.2　使用Readdb獲取摘要　
　　　4.6.3　使用SegRead讀取分段　
　　　4.6.4　Luke工具使用　
　　4.7　Nutch配置文件解析　
　　4.8　Heritrix網(wǎng)絡(luò)蜘蛛　
　　　4.8.1　Heritrix概述　
　　　4.8.2　Heritrix體系結(jié)構(gòu)　
　　　4.8.3　Heritrix安裝與使用　
　　4.9　小結(jié)　
　第5章　搜索引擎信息索引　
　　5.1　文檔索引原理　
　　　5.1.1　索引概述　
　　　5.1.2　索引基本結(jié)構(gòu)　
　　　5.1.3　倒排索引原理　
　　　5.1.4　索引分類　
　　　5.1.5　高性能索引　
　　5.2　Lucene索引器　
　　　5.2.1　Lucene索引介紹　
　　　5.2.2　Lucene索引結(jié)構(gòu)　
　　　5.2.3　多文件索引結(jié)構(gòu)　
　　　5.2.4　復(fù)合索引結(jié)構(gòu)　
　　5.3　Lucene索引實(shí)例　
　　　5.3.1　索引創(chuàng)建代碼解析　
　　　5.3.2　索引創(chuàng)建器（IndexWriter）　
　　　5.3.3　索引管理器（IndexReader）　
　　　5.3.4　索引修改器（IndexModifier）　
　　　5.3.5　索引分析器（Analyzer）　
　　5.4　Lucene索引操作　
　　　5.4.1　添加文本文件索引　
　　　5.4.2　創(chuàng)建Lucene增量索引　
　　　5.4.3　使用索引項刪除文檔　
　　　5.4.4　使用編號刪除文檔　
　　　5.4.5　壓縮文檔編號　
　　　5.4.6　索引文檔更新　
　　5.5　Lucene索引高級特性　
　　　5.5.1　選擇索引域類型　
　　　5.5.2　索引參數(shù)優(yōu)化　
　　　5.5.3　使用磁盤索引　
　　　5.5.4　使用內(nèi)存索引　
　　　5.5.5　同步與鎖機(jī)制　
　　5.6　Lucene高級應(yīng)用實(shí)例　
　　　5.6.1　創(chuàng)建本地搜索的索引　
　　　5.6.2　索引數(shù)據(jù)庫記錄　
　　　5.6.3　索引優(yōu)化與合并　
　　5.7　Nutch中的Lucene索引　
　　5.8　小結(jié)　
　第6章　搜索引擎查詢處理　
　　6.1　信息查詢原理　
　　　6.1.1　信息查詢概述　
　　　6.1.2　查詢基本流程　
　　　6.1.3　查詢結(jié)果顯示　
　　　6.1.4　高性能查詢　
　　6.2　Lucene查詢概述　
　　　6.2.1　Lucene查詢操作基礎(chǔ)　
　　　6.2.2　Lucene查詢實(shí)例入門　
　　　6.2.3　查詢工具IndexSearcher類　
　　　6.2.4　查詢封裝Query類　
　　　6.2.5　查詢分析器QueryParser類　
　　　6.2.6　查詢結(jié)果集Hits類　
　　6.3　Lucene基本查詢　
　　　6.3.1　Lucene查詢Query對象　
　　　6.3.2　最小項查詢TermQuery　
　　　6.3.3　區(qū)間范圍搜索RangeQuery　
　　　6.3.4　邏1/4組合搜索BooleanQuery　
　　　6.3.5　字串前綴搜索PrefixQuery　
　　　6.3.6　短語搜索PhraseQuery　
　　　6.3.7　模糊搜索FuzzyQuery　
　　　6.3.8　通配符搜索WildcardQuery　
　　　6.3.9　位置跨度搜索SpanQuery　
　　6.4　Lucene高級查詢　
　　　6.4.1　索引內(nèi)存檢索　
　　　6.4.2　多關(guān)鍵字跨域檢索　
　　　6.4.3　多檢索器跨索引檢索　
　　6.5　Nutch中的Lucene查詢　
　　6.6　小結(jié)　
　第7章　搜索引擎結(jié)果排序　
　　7.1　搜索引擎文檔排序原理　
　　　7.1.1　傳統(tǒng)檢索排序技術(shù)　
　　　7.1.2　向量模型排序局限　
　　　7.1.3　搜索引擎相關(guān)性排序　
　　　7.1.4　鏈接分析PageRank原理　
　　　7.1.5　搜索引擎排序流程　
　　7.2　Lucene檢索排序　
　　　7.2.1　Lucene相關(guān)性因素　
　　　7.2.2　Lucene相關(guān)排序流程　
　　　7.2.3　Lucene排序計算體系　
　　　7.2.4　Lucene排序控制方法　
　　7.3　文檔Boost加權(quán)排序　
　　　7.3.1　Lucene中Boost介紹　
　　　7.3.2　Boost值全文檔排序　
　　　7.3.3　Boost值文檔域排序　
　　　7.3.4　BoostingTermQuery排序　
　　7.4　Sort對象檢索排序　
　　　7.4.1　Sort對象概述　
　　　7.4.2　Sort對象相關(guān)性排序　
　　　7.4.3　Sort對象文檔編號排序　
　　　7.4.4　Sort對象獨(dú)立域排序　
　　　7.4.5　Sort對象聯(lián)合域排序　
　　　7.4.6　Sort對象逆向排序　
　　7.5　Lucene相關(guān)性公式　
　　　7.5.1　Lucene評分結(jié)果分析　
　　　7.5.2　Lucene排序公式　
　　　7.5.3　其他動態(tài)排序因子　
　　7.6　Lucene自定義排序　
　　　7.6.1　自定義排序比較接口　
　　　7.6.2　自定義排序接口類實(shí)例　
　　　7.6.3　自定義排序結(jié)果測試實(shí)例　
　　　7.6.4　自定義排序測試結(jié)果　
　　7.7　Nutch中的結(jié)果排序　
　　　7.7.1　Nutch排序因素　
　　　7.7.2　Nutch鏈接分析　
　　　7.7.3　Nutch相關(guān)度計算　
　　7.8　小結(jié)　
　第8章　文檔分析器與中文分詞　
　　8.1　文檔分析與中文分詞原理　
　　　8.1.1　文檔分析預(yù)處理概述　
　　　8.1.2　文檔分析基本流程　
　　　8.1.3　中文分析處理中的分詞　
　　8.2　Lucene分析器內(nèi)核原理　
　　　8.2.1　Lucene分析器原理　
　　　8.2.2　Analysis包簡介　
　　　8.2.3　Analyzer類的組合結(jié)構(gòu)　
　　　8.2.4　JavaCC構(gòu)造分析器　
　　　8.2.5　StopAnalyzer內(nèi)核代碼分析　
　　　8.2.6　StandardAnalyzer內(nèi)核代碼分析　
　　8.3　Lucene分析器應(yīng)用模式　
　　　8.3.1　使用默認(rèn)分析器建立索引　
　　　8.3.2　使用多種分析器建立索引　
　　　8.3.3　使用分析器檢索查詢　
　　8.4　Lucene主要分析器應(yīng)用實(shí)例　
　　　8.4.1　停用詞分析器StopAnalyzer　
　　　8.4.2　標(biāo)準(zhǔn)分析器StandardAnalyzer　
　　　8.4.3　簡單分析器SimpleAnalyzer　
　　　8.4.4　空格分析器WhitespaceAnalyzer　
　　　8.4.5　關(guān)鍵字分析器KeywordAnalyzer　
　　8.5　TokenStream分詞器內(nèi)核分析　
　　　8.5.1　Tokenizer分詞器　
　　　8.5.2　標(biāo)準(zhǔn)分詞器StandardTokenizer　
　　　8.5.3　字符分詞器CharTokenizer　
　　　8.5.4　空格分詞器WhiteSpaceTokenizer　
　　　8.5.5　字母分詞器LetterTokenizer　
　　　8.5.6　小寫分詞器LowerCaseTokenizer　
　　8.6　TokenStream過濾器內(nèi)核分析　
　　　8.6.1　TokenFilter過濾器　
　　　8.6.2　標(biāo)準(zhǔn)過濾器StandardFilter　
　　　8.6.3　停用詞過濾器StopFilter　
　　　8.6.4　小寫過濾器LowerCaseFilter　
　　　8.6.5　長度過濾器LengthFilter　
　　　8.6.6　詞干過濾器PorterStemFilter　
　　8.7　Lucene中文分詞　
　　　8.7.1　中文分詞基本原理方法　
　　　8.7.2　StandardAnalyzer分析器中文處理　
　　　8.7.3　CJKAnalyzer中文分析器　
　　　8.7.4　ChineseAnalyzer中文分析器　
　　　8.7.5　IK_CAnalyzer中文分析器　
　　　8.7.6　中科院ICTCLAS中文分詞　
　　　8.7.7　JE中文分詞　
　　　8.7.8　中文分詞問題　
　　8.8　Nutch分詞和預(yù)處理　
　　　8.8.1　Nutch分析器　
　　　8.8.2　Nutch中文分詞　
　　8.9　小結(jié)　
　第9章　搜索引擎文本分析　
　　9.1　非結(jié)構(gòu)化文本簡介　
　　　9.1.1　非結(jié)構(gòu)化文本概述　
　　　9.1.2　非結(jié)構(gòu)化文本檢索　
　　9.2　HTML文檔分析　
　　　9.2.1　主流HTML文檔分析器　
　　　9.2.2　HTMLParser安裝配置　
　　　9.2.3　HTMLParser的框架結(jié)構(gòu)　
　　9.3　HTMLParser應(yīng)用實(shí)例　
　　　9.3.1　HTMLParser功能模式　
　　　9.3.2　HTMLParser內(nèi)容解析方式　
　　　9.3.3　Visitor模式正文解析　
　　　9.3.4　Filter模式簡單鏈接提取　
　　　9.3.5　Filter模式搜索鏈接提取　
　　　9.3.6　Lexer模式遍歷文檔　
　　9.4　PDF文檔分析　
　　　9.4.1　常用的PDF處理包　
　　　9.4.2　PDFBox安裝配置　
　　9.5　PDFBox應(yīng)用實(shí)例　
　　　9.5.1　PDFBox提取文檔內(nèi)容　
　　　9.5.2　PDFBox文檔內(nèi)容索引　
　　9.6　Office文檔分析　
　　　9.6.1　常用Office文檔處理包　
　　　9.6.2　使用POI安裝與配置　
　　　9.6.3　POI原理與接口介紹　
　　9.7　POI分析Office文檔實(shí)例　
　　　9.7.1　POI處理Excel文檔　
　　　9.7.2　POI處理Word文檔　
　　9.8　XML文檔分析　
　　　9.8.1　主流XML文檔分析器　
　　　9.8.2　JDOM分析器安裝配置　
　　　9.8.3　xerces分析器安裝配置　
　　9.9　XML解析應(yīng)用實(shí)例　
　　　9.9.1　使用JDOM分析XML 文檔　
　　　9.9.2　使用xerces分析XML 文檔　
　　9.10　Nutch文檔處理　
　　9.11　小結(jié)　
　第10章　分布式搜索與緩存　
　　10.1　分布式檢索與緩存　
　　　10.1.1　分布式搜索引擎現(xiàn)狀　
　　　10.1.2　分布式搜索引擎原理　
　　　10.1.3　搜索引擎緩存現(xiàn)狀　
　　　10.1.4　搜索引擎緩存原理　
　　10.2　Nutch與分布式檢索　
　　　10.2.1　Google分布式文件系統(tǒng)　
　　　10.2.2　MapReduce系統(tǒng)介紹　
　　　10.2.3　Hadoop分布式文件系統(tǒng)　
　　　10.2.4　Nutch分布式文件系統(tǒng)　
　　　10.2.5　Nutch分布式檢索概述　
　　　10.2.6　Nutch分布式檢索器　
　　10.3　Lucene分布式檢索　
　　　10.3.1　Socket通信基礎(chǔ)　
　　　10.3.2　Lucene索引服務(wù)器　
　　10.4　Nutch與搜索緩存　
　　10.5　開源系統(tǒng)緩存系統(tǒng)　
　　10.6　小結(jié)　
第3篇　實(shí)戰(zhàn)篇
　第11章　Nutch專題搜索引擎實(shí)例　
　　11.1　專題搜索需求分析　
　　　11.1.1　專題搜索功能需求　
　　　11.1.2　專題搜索用例分析　
　　11.2　構(gòu)建Nutch基礎(chǔ)搜索引擎　
　　　11.2.1　Nutch搜索功能分析　
　　　11.2.2　信息下載功能測試　
　　　11.2.3　Nutch基礎(chǔ)Web檢索　
　　　11.2.4　Web用戶頁面修改　
　　11.3　專題搜索系統(tǒng)設(shè)計　
　　　11.3.1　系統(tǒng)框架設(shè)計　
　　　11.3.2　選擇開發(fā)工具組件　
　　11.4　專題關(guān)鍵詞管理　
　　　11.4.1　專題關(guān)鍵詞策略　
　　　11.4.2　關(guān)鍵詞存儲設(shè)計　
　　　11.4.3　關(guān)鍵詞管理程序　
　　11.5　專題資源發(fā)現(xiàn)　
　　　11.5.1　專題網(wǎng)頁鏈接發(fā)現(xiàn)　
　　　11.5.2　專題資源網(wǎng)站提取　
　　11.6　專題信息下載　
　　　11.6.1　批量信息下載　
　　　11.6.2　信息自動下載　
　　11.7　專題信息分析與索引　
　　　11.7.1　網(wǎng)頁信息分析　
　　　11.7.2　創(chuàng)建索引　
　　11.8　檢索輔助功能　
　　　11.8.1　相關(guān)詞推薦　
　　　11.8.2　檢索詞高亮顯示　
　　　11.8.3　檢索結(jié)果翻頁　
　　11.9　小結(jié)　
　第12章　Lucene實(shí)現(xiàn)企業(yè)搜索實(shí)例　
　　12.1　企業(yè)搜索需求分析　
　　　12.1.1　企業(yè)搜索需求概述　
　　　12.1.2　企業(yè)搜索用例分析　
　　12.2　企業(yè)級搜索系統(tǒng)設(shè)計　
　　　12.2.1　系統(tǒng)框架設(shè)計　
　　　12.2.2　Lucene檢索框架　
　　12.3　企業(yè)級搜索系統(tǒng)設(shè)計　
　　　12.3.1　創(chuàng)建Lucene工程　
　　　12.3.2　全文檢索索引生成　
　　　12.3.3　全文檢索檢索頁面　
　　12.4　數(shù)據(jù)引擎設(shè)計　
　　　12.4.1　數(shù)據(jù)庫數(shù)據(jù)管理　
　　　12.4.2　非結(jié)構(gòu)化文檔　
　　12.5　企業(yè)信息索引　
　　　12.5.1　數(shù)據(jù)索引建立　
　　　12.5.2　信息檢索代碼　
　　　12.5.3　檢索Web代碼　
　　　12.5.4　檢索結(jié)果測試　
　　12.6　小結(jié)