互聯(lián)網(wǎng)大數(shù)據(jù)挖掘與分類

1 緒論
1．1 背景知識
1．1．1 研究背景
1．1．2 研究意義
1．2 網(wǎng)絡(luò)測量技術(shù)
1．2．1 網(wǎng)絡(luò)測量常見對象
1．2．2 網(wǎng)絡(luò)測量分析的問題
1．2．3 單點(diǎn)測量常用方法
1．2．4 單點(diǎn)網(wǎng)絡(luò)測量常用工具
1．2．5 分布式網(wǎng)絡(luò)測量技術(shù)
1．3 分類算法
1．3．1 決策樹
1．3．2 貝葉斯分類
1．3．3 支持向量機(jī)
1．4 C4．5算法
1．4．1 算法概述
1．4．2 決策樹的分割
1．4．3 決策樹的剪枝
1．4．4 剪枝實(shí)例
1．4．5 十折交叉驗證方法
1．4．6 測度子集選擇方法
1．5 數(shù)據(jù)挖掘方法
1．5．1 聚類方法
1．5．2 k-近鄰算法
1．6 流數(shù)據(jù)結(jié)構(gòu)
1．6．1 Bitmap
1．6．2 混合Counter
1．6．3 Count-Min Sketch
1．6．4 Bloom Filter
1．6．5 Counter Braids
1．6．6 BRICK
1．7 流量測量的評價指標(biāo)
1．7．1 誤報率和漏報率
1．7．2 相對誤差
1．7．3 相對差
1．7．4 熵
1．8 小結(jié)
參考文獻(xiàn)
2 互聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)
2．1 系統(tǒng)設(shè)計
2．1．1 總體設(shè)計
2．1．2 數(shù)據(jù)收集層設(shè)計
2．1．3 并行算法層設(shè)計
2．1．4 查詢層設(shè)計
2．2 測度定義
2．2．1 輸入測度
2．2．2 用戶行為測度
2．2．3 輸出測度
2．3 基于MapReduce測度的計算方法
2．3．1 單點(diǎn)TCP測度
2．3．2 并行TCP測度
2．3．3 流聚合并行方法
2．3．4 用戶行為測度
2．3．5 并行算法優(yōu)化
2．4 系統(tǒng)實(shí)現(xiàn)
2．4．1 存儲模塊實(shí)現(xiàn)
2．4．2 測度計算模塊實(shí)現(xiàn)
2．4．3 用戶行為分析模塊實(shí)現(xiàn)
2．4．4 查詢模塊實(shí)現(xiàn)
2．5 實(shí)驗分析
2．5．1 實(shí)驗環(huán)境
2．5．2 實(shí)驗平臺布署
2．5．3 實(shí)驗數(shù)據(jù)集
2．5．4 實(shí)驗結(jié)果分析
2．5．5 可擴(kuò)展性分析
2．5．6 性能瓶頸分析
2．6 小結(jié)
參考文獻(xiàn)
3 超點(diǎn)數(shù)據(jù)流檢測方法
3．1 引言
3．2 并行數(shù)據(jù)流方法
3．2．1 方法描述
3．2．2 相關(guān)定義
3．2．3 數(shù)據(jù)結(jié)構(gòu)
3．2．4 更新歸并過程
3．2．5 鏈接度估計
3．2．6 超點(diǎn)檢測
3．3 性能分析
3．3．1 存儲開銷
3．3．2 準(zhǔn)確性
3．3．3 計算性能
3．4 實(shí)驗分析
3．4．1 實(shí)驗數(shù)據(jù)
3．4．2 評價標(biāo)準(zhǔn)
3．4．3 鏈接度估計
3．4．4 參數(shù)評估
3．4．5 算法對比
3．5 小結(jié)
參考文獻(xiàn)
4 長持續(xù)時間流檢測方法
4．1 引言
4．2 問題定義
4．3 數(shù)據(jù)結(jié)構(gòu)
4．4 基于共享數(shù)據(jù)結(jié)構(gòu)的檢測方法
4．4．1 方法描述
4．4．2 方法流程
4．4．3 實(shí)驗結(jié)果分析
4．5 基于獨(dú)立數(shù)據(jù)結(jié)構(gòu)的檢測方法
4．5．1 方法描述
4．5．2 方法流程
4．5．3 性能分析
4．5．4 實(shí)驗結(jié)果分析
4．6 小結(jié)
參考文獻(xiàn)
5 大流的自適應(yīng)抽樣識別方法
5．1 引言
5．2 大流識別方法
5．2．1 問題定義
5．2．2 方法描述
5．2．3 自適應(yīng)抽樣
5．2．4 數(shù)據(jù)劃分
5．2．5 大流識別
5．3 實(shí)驗結(jié)果分析
5．3．1 實(shí)驗環(huán)境
5．3．2 估計精度
5．3．3 負(fù)載均衡
5．3．4 可擴(kuò)展性
5．3．5 數(shù)據(jù)更新
5．3．6 Reducer數(shù)量
5．4 小結(jié)
參考文獻(xiàn)
6 流量異常的信息熵檢測方法
6．1 引言
6．1．1 研究背景
6．1．2 研究意義
6．1．3 相關(guān)研究
6．1．4 本章內(nèi)容
6．2 信息熵靈敏度分析
6．2．1 理論分析
6．2．2 實(shí)驗分析
6．2．3 分析結(jié)論
6．3 流量異常檢測方法
6．3．1 測度定義
6．3．2 基于Kmeans的閾值選擇
6．3．3 正常流量BID學(xué)習(xí)
6．3．4 驗證方案
6．4 實(shí)驗結(jié)果分析
6．4．1 實(shí)驗環(huán)境
6．4．2 攻擊流量獲取
6．4．3 攻擊檢測能力評估
6．4．4 檢測準(zhǔn)確性
6．5 小結(jié)
參考文獻(xiàn)
7 網(wǎng)頁關(guān)聯(lián)分析方法
7．1 概述
7．1．1 研究背景
7．1．2 研究意義
7．1．3 相關(guān)研究
7．2 網(wǎng)頁關(guān)聯(lián)概念
7．2．1 定義
7．2．2 問題描述
7．2．3 輸入輸出描述
7．2．4 分類
7．2．5 網(wǎng)頁引用方法
7．3 基于DPI的網(wǎng)頁關(guān)聯(lián)方法
7．3．1 方法概述
7．3．2 基于HTTP頭信息的引用發(fā)現(xiàn)方法
7．3．3 請求網(wǎng)頁父引用提取方法
7．3．4 HTTP網(wǎng)頁解碼算法
7．3．5 基于網(wǎng)頁內(nèi)容的引用發(fā)現(xiàn)算法
7．3．6 父子引用關(guān)聯(lián)方法
7．4 DPI關(guān)聯(lián)方法實(shí)驗分析
7．4．1 在線采集數(shù)據(jù)分析
7．4．2 被動測量數(shù)據(jù)關(guān)聯(lián)分析
7．5 網(wǎng)頁關(guān)聯(lián)存在的問題
7．5．1 頁面懸浮廣告
7．5．2 彈出窗口廣告
7．5．3 link href
7．5．4 廣告關(guān)聯(lián)問題分析
7．6 算法改進(jìn)對比
7．6．1 測試一
7．6．2 測試二
7．6．3 測試三
7．7 基于DFI的網(wǎng)頁關(guān)聯(lián)方法
7．7．1 主流識別規(guī)則
7．7．2 輔流關(guān)聯(lián)方法
7．7．3 實(shí)驗結(jié)果分析
7．8 小結(jié)
參考文獻(xiàn)
8 面向網(wǎng)絡(luò)流的分類方法
8．1 引言
8．1．1 測度定義
8．1．2 背景研究
8．1．3 研究意義
8．2 流特征選擇方法
8．2．1 特征選擇方法
8．2．2 混合特征選擇
8．2．3 實(shí)驗結(jié)果分析
8．3 代價敏感分類方法
8．3．1 數(shù)據(jù)重采樣
8．3．2 代價敏感學(xué)習(xí)
8．3．3 基于Adacost的分類算法
8．3．4 實(shí)驗結(jié)果分析
8．5 集成學(xué)習(xí)分類方法
8．5．1 集成學(xué)習(xí)基本概念
8．5．2 基于均值決策的集成學(xué)習(xí)方法
8．5．3 基于精度權(quán)重的集成學(xué)習(xí)方法
8．5．4 基于代價敏感的集成學(xué)習(xí)方法
8．5．5 實(shí)驗結(jié)果分析
8．6 小結(jié)
參考文獻(xiàn)
9 基于覆蓋網(wǎng)監(jiān)測的故障推理
9．1 研究背景及意義
9．2 基本概念
9．2．1 社區(qū)的概念
9．2．2 覆蓋網(wǎng)
9．2．3 chord
9．3 數(shù)據(jù)處理
9．3．1 集中式處理的問題
9．3．2 負(fù)載均衡
9．3．3 癥狀數(shù)據(jù)存取索引
9．3．4 癥狀數(shù)據(jù)預(yù)處理
9．4 故障推理算法
9．4．1 客戶端故障判斷算法
9．4．2 現(xiàn)有方法
9．4．3 故障推理算法
9．4．4 算法設(shè)計
9．5 系統(tǒng)設(shè)計實(shí)現(xiàn)
9．5．1 系統(tǒng)設(shè)計
9．5．2 實(shí)驗工具
9．5．3 實(shí)驗環(huán)境
9．5．4 實(shí)驗結(jié)果分析
9．6 小結(jié)
參考文獻(xiàn)
彩插