基于Hadoop平臺的分布式重復數(shù)據(jù)刪除解決方案
大小：0.96 MB 人氣： 2017-12-22 需要積分：1
針對數(shù)據(jù)中心存在大量數(shù)據(jù)冗余的問題，特別是備份數(shù)據(jù)造成的存儲容量浪費，提出一種基于Hadoop平臺的分布式重復數(shù)據(jù)刪除解決方案。該方案通過檢測并消除特定數(shù)據(jù)集內(nèi)的冗余數(shù)據(jù)，來顯著降低數(shù)據(jù)存儲容量，優(yōu)化存儲空間利用率。利用Hadoop大數(shù)據(jù)處理平臺下的分布式文件系統(tǒng)（HDFS）和非關(guān)系型數(shù)據(jù)庫HBase兩種數(shù)據(jù)管理模式，設(shè)計并實現(xiàn)一種可擴展分布式重刪存儲系統(tǒng)。其中，MapReduce并行編程框架實現(xiàn)分布式并行重刪處理，HDFS負責重刪后的數(shù)據(jù)存儲，在HBase數(shù)據(jù)庫中構(gòu)建索引表，實現(xiàn)高效數(shù)據(jù)塊索引查詢。最后，利用虛擬機鏡像文件數(shù)據(jù)集對系統(tǒng)進行了測試，基于Hadoop平臺的分布式重刪系統(tǒng)能在保證高重刪率的同時，具有高吞吐率和良好的可擴展性。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
基于Hadoop平臺的分布式重復數(shù)據(jù)刪除解決方案下載
相關(guān)電子資料下載
- 隆基全球分布式研發(fā)中心揭牌 265
- 故障排查小能手：輸電線路分布式故障定位裝置大解析 63
- 浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案 816
- 黑龍江電力高性能WDS分布式存儲系統(tǒng)解決方案 62
- 雷拓科技云廣播助力江西省蘆溪縣新圖書館打造沉浸式觀展體驗！ 97
- 分布式光纖測溫系統(tǒng)DTS 143
- 天合光能致力于加強全球綠色轉(zhuǎn)型協(xié)作 239
- 安科瑞防孤島保護裝置AM5SE-IS 在布式光伏監(jiān)控系統(tǒng)中的應(yīng)用 93
- 得瑞領(lǐng)新參編《高性能計算助推分布式存儲發(fā)展白皮書》正式發(fā)布，助力推動產(chǎn) 112
- 基于智慧醫(yī)療系統(tǒng)的存儲解決方案，助力高性能存儲需求 143