分布式流數(shù)據(jù)處理的容錯技術(shù)研究

定　價：￥42.00

作　者：	莊園
出版社：	電子工業(yè)出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

ISBN：	9787121452857	出版時間：	2023-01-01	包裝：	平裝
開本：	16開	頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　本書主要論述分布式流數(shù)據(jù)處理的容錯技術(shù)方法。通過深入分析和探討，從理論模型、容錯策略、容錯機(jī)制和協(xié)議等方面開展相關(guān)研究工作，通過建立理論方法和核心技術(shù)，提升分布式流處理系統(tǒng)的可靠性，為分布式流處理容錯技術(shù)提供了一種新的思路和解決方案。本書共6章，主要內(nèi)容包括緒論、支持分布式流處理的低開銷容錯機(jī)制、支持彈性流處理的自適應(yīng)容錯機(jī)制、負(fù)載感知的最佳檢查點(diǎn)間隔策略、負(fù)載感知的近似備份策略和總結(jié)與展望。本書通過理論建模、仿真分析及實驗驗證等手段，對分布式流數(shù)據(jù)處理的容錯技術(shù)進(jìn)行了有意義的探索。本書可作為高等工科院校計算機(jī)科學(xué)與技術(shù)、自動化、電子信息等專業(yè)研究生的參考書，也可供從事分布式處理系統(tǒng)容錯技術(shù)設(shè)計的工程技術(shù)人員自學(xué)參考。

作者簡介

　　莊園，哈爾濱工程大學(xué)計算機(jī)科學(xué)與技術(shù)學(xué)院講師，碩士生導(dǎo)師。2019年畢業(yè)于吉林大學(xué)計算機(jī)科學(xué)與技術(shù)專業(yè)并獲工學(xué)博士學(xué)位。主要研究方向為信息安全、區(qū)塊鏈、機(jī)器學(xué)習(xí)等。參與完成國家自然科學(xué)基金、國家自然科學(xué)青年基金、教育部高等專項科研基金、吉林省科技廳項目等多個科研項目；主持CCF科研類基金、智能船舶標(biāo)準(zhǔn)、中央高校等基金類項目；獲商業(yè)聯(lián)合協(xié)會科技進(jìn)步獎一項；發(fā)表SCI、EI檢索的學(xué)術(shù)論文10余篇，申請專利4項。作為訪問學(xué)者，曾在新加坡國立大學(xué)Next++人工智能實驗室工作一年，主要研究方向為區(qū)塊鏈安全、深度學(xué)習(xí)、大數(shù)據(jù)處理，分布式計算等。

圖書目錄

目錄
第1章緒論 1
1．1 研究背景與意義 1
1．1．1 分布式流數(shù)據(jù)處理 1
1．1．2 系統(tǒng)可靠性問題與容錯機(jī)制 2
1．1．3 流數(shù)據(jù)處理容錯技術(shù)的挑戰(zhàn) 3
1．2 國內(nèi)外研究現(xiàn)狀 5
1．2．1 分布式流數(shù)據(jù)處理系統(tǒng) 5
1．2．2 流處理自動并行化技術(shù) 9
1．2．3 容錯技術(shù) 10
1．3 本書的主要內(nèi)容 13
1．4 本書的組織結(jié)構(gòu) 14
第2章支持分布式流處理的低開銷容錯機(jī)制 16
2．1 引言 16
2．2 相關(guān)工作 16
2．3 通用分布式流處理框架 17
2．4 系統(tǒng)模型 18
2．4．1 流數(shù)據(jù)處理作業(yè) 18
2．4．2 節(jié)點(diǎn)運(yùn)行狀態(tài) 19
2．5 結(jié)合檢查點(diǎn)的上游備份模型 21
2．5．1 異步檢查點(diǎn) 22
2．5．2 上游數(shù)據(jù)備份 22
2．6 容錯協(xié)議及算法 24
2．6．1 上游備份協(xié)議 24
2．6．2 協(xié)議開銷分析 26
2．6．3 快速恢復(fù)算法 27
2．7 實驗結(jié)果與性能分析 29
2．7．1 系統(tǒng)原型實現(xiàn) 29
2．7．2 實驗設(shè)置 29
2．7．3 容錯通信開銷 32
2．7．4 容錯延遲開銷 33
2．7．5 容錯內(nèi)存開銷 33
2．7．6 故障恢復(fù)測試 34
2．8 本章小結(jié) 35
第3章支持彈性流處理的自適應(yīng)容錯機(jī)制 36
3．1 引言 36
3．2 相關(guān)工作 37
3．3 彈性流處理下容錯問題建模 38
3．3．1 問題概述 38
3．3．2 備份調(diào)整函數(shù) 40
3．3．3 問題模型假設(shè) 41
3．4 支持彈性流處理的自適應(yīng)容錯機(jī)制 41
3．4．1 彈性數(shù)據(jù)備份單元 42
3．4．2 數(shù)據(jù)依賴關(guān)系追蹤 44
3．4．3 在線檢查點(diǎn)調(diào)整機(jī)制 46
3．5 自適應(yīng)容錯協(xié)議 46
3．6 實驗與結(jié)果分析 49
3．6．1 系統(tǒng)原型實現(xiàn) 49
3．6．2 實驗設(shè)置 50
3．6．3 容錯開銷測試 51
3．6．4 故障恢復(fù)測試 52
3．6．5 綜合性能比較 52
3．7 本章總結(jié) 53
第4章負(fù)載感知的最佳檢查點(diǎn)間隔策略 54
4．1 引言 54
4．2 相關(guān)工作 55
4．3 最佳檢查點(diǎn)問題建模 57
4．3．1 系統(tǒng)模型 57
4．3．2 處理效率 58
4．3．3 問題定義 60
4．4 動態(tài)最佳檢查點(diǎn)間隔（DOCI）模型 61
4．4．1 在線恢復(fù)時間預(yù)測 61
4．4．2 最佳檢查點(diǎn)間隔 62
4．5 DOCI調(diào)整策略 63
4．5．1 DOCI調(diào)整算法 63
4．5．2 緩存對最佳檢查點(diǎn)間隔的影響 66
4．6 實驗與結(jié)果分析 67
4．6．1 模擬方法 67
4．6．2 恒定輸入速率下的效率測試 68
4．6．3 工作負(fù)載波動下的效率測試 69
4．6．4 備份緩存區(qū)容量的影響測試 71
4．7 應(yīng)用場景 72
4．8 本章總結(jié) 73
第5章負(fù)載感知的近似備份策略 74
5．1 引言 74
5．2 相關(guān)工作 76
5．3 系統(tǒng)模型介紹 77
5．3．1 流處理模型 77
5．3．2 近似備份模型 77
5．3．3 前提假設(shè) 78
5．4 容錯問題建模 79
5．4．1 備份開銷 79
5．4．2 恢復(fù)質(zhì)量 80
5．4．3 問題描述 81
5．5 近似備份算法 82
5．5．1 單節(jié)點(diǎn)故障算法 82
5．5．2 級聯(lián)故障算法 83
5．5．3 負(fù)載傾斜備份算法 85
5．6 實驗結(jié)果與分析 87
5．6．1 實驗設(shè)置 87
5．6．2 綜合性能測試 89
5．6．3 系統(tǒng)性能與故障恢復(fù)精度的影響測試 91
5．6．4 負(fù)載傾斜下的性能測試 92
5．6．5 可擴(kuò)展性測試 93
5．7 結(jié)論 94
第6章總結(jié)與展望 96
6．1 總結(jié) 96
6．2 未來研究展望 96
參考文獻(xiàn) 98