非結(jié)構(gòu)化數(shù)據(jù)遍布于各行各業(yè),這類數(shù)據(jù)在醫(yī)療、安防監(jiān)控、政務(wù)、金融等行業(yè)中尤為明顯,他們都有著海量的非結(jié)構(gòu)化數(shù)據(jù)。同時,非結(jié)構(gòu)化數(shù)據(jù)正以60%增長趨勢逐年遞增。毫無疑問,這一增長趨勢對企業(yè)如何更好的管理好PB級數(shù)據(jù)提出了嚴峻挑戰(zhàn)。
存儲系統(tǒng)中數(shù)據(jù)的變化:以結(jié)構(gòu)化為主的數(shù)據(jù),正在向非結(jié)構(gòu)化數(shù)據(jù)等混合型數(shù)據(jù)進行大量的轉(zhuǎn)變。據(jù)IDC(天風(fēng)證券,2020)預(yù)測,到2025年我國數(shù)據(jù)將達48.6ZB(18年至25年復(fù)合增速超過30%),其中80%為非結(jié)構(gòu)化數(shù)據(jù)(XML、圖像、聲音、超媒體等信息)。
存儲系統(tǒng)中規(guī)模的變化:在大數(shù)據(jù)、5G、云計算等新一代信息技術(shù)的催化下,企業(yè)需要應(yīng)對PB級(1PB=1024TB)容量的數(shù)據(jù)存儲需求,延續(xù)使用集中存儲的方式,在單一存儲節(jié)點上scale-up。不僅會對存儲系統(tǒng)的性能造成影響,同時會受限于物理介質(zhì)、傳輸媒介及TCO成本等因素,最終造成容量上的局限性,很顯然縱向擴展的形式并不適應(yīng)于現(xiàn)代化的企業(yè)級存儲需求。
為了更加適應(yīng)動態(tài)變化的應(yīng)用場景,出現(xiàn)了去中心化Ceph的分布式存儲架構(gòu),它是由MON、OSD、MDS與RADOS等核心組件構(gòu)成。與HDFS相比之下,沒有通過NameNode元數(shù)據(jù)尋址的方式,而是通過一種CRUSH算法,通過兩次映射計算數(shù)據(jù)存儲位置來確定如何存儲和檢索數(shù)據(jù)。CRUSH 使用戶端能直接與OSDs進行通信,且并行讀寫速度更高。
去中心化Ceph存儲系統(tǒng)架構(gòu),特別是在支持塊存儲特性上,可以使數(shù)據(jù)具有較強的一致性,Ceph可使用任何一個運行在該存儲節(jié)點上的OSD獲取數(shù)據(jù)信息,相對于Swift及HDFS來說更加靈活。以Ceph分布式存儲架構(gòu)為代表的柏科數(shù)據(jù)ISCloud分布式存儲系統(tǒng),一方面通過CRUSH算法實現(xiàn)了存儲單元間的數(shù)據(jù)重新分布及智能交互。另一方面scale-out的擴張形式,突破了規(guī)模化擴張造成的性能瓶頸。
在安防監(jiān)控的應(yīng)用場景下,數(shù)據(jù)存儲經(jīng)歷了幾個階段,逐步從DVR存儲過渡到網(wǎng)絡(luò)前端加網(wǎng)絡(luò)存儲階段。隨著網(wǎng)絡(luò)帶寬的提高,高清應(yīng)用的普及,對安防存儲系統(tǒng)的容量和數(shù)據(jù)安全提出了更高的要求。柏科數(shù)據(jù)ISCloud分布式存儲系統(tǒng)在面對監(jiān)控業(yè)務(wù)海量非結(jié)構(gòu)化數(shù)據(jù)存儲方面,相比于傳統(tǒng)安防類存儲具有天然的優(yōu)勢,也便于與其他調(diào)用平臺結(jié)合,將為視頻監(jiān)控行業(yè)帶來存儲架構(gòu)和安全性上全面的升級變更。
實現(xiàn)性能提升&保障業(yè)務(wù)連續(xù)性:
? 將業(yè)務(wù)系統(tǒng)遷移至ISCloud分布式存儲系統(tǒng),解決了存儲節(jié)點單點故障的問題,使其業(yè)務(wù)不中斷;
? 提升節(jié)點間訪問能力,以保證數(shù)據(jù)的寫入讀取和各節(jié)點之間數(shù)據(jù)交互的穩(wěn)定性及一致性。
實現(xiàn)多重數(shù)據(jù)保護:
? 結(jié)合ISCloud分布式存儲系統(tǒng)應(yīng)用層數(shù)據(jù)保護策略(副本冗余技術(shù)或糾刪技術(shù)等),采取糾刪N+2的數(shù)據(jù)保護方式,對數(shù)據(jù)進行冗余保護措施;
發(fā)布評論請先 登錄
兆芯+圖云創(chuàng)智—可信分布式存儲系統(tǒng)解決方案

分布式存儲數(shù)據(jù)恢復(fù)—虛擬機上hbase和hive數(shù)據(jù)庫數(shù)據(jù)恢復(fù)案例
分布式存儲有哪幾種類型?
分布式云化數(shù)據(jù)庫有哪些類型
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)文件資產(chǎn)遷移
HarmonyOS Next 應(yīng)用元服務(wù)開發(fā)-分布式數(shù)據(jù)對象遷移數(shù)據(jù)權(quán)限與基礎(chǔ)數(shù)據(jù)
一文講清什么是分布式云化數(shù)據(jù)庫!
分布式存儲費用高嗎?大概需要多少錢
基于分布式存儲WDS的金融信創(chuàng)云承載數(shù)據(jù)庫類關(guān)鍵應(yīng)用

基于Openharmony輕量級操作系統(tǒng)的分布式數(shù)據(jù)管理開發(fā)案例

基于Openharmony輕量級操作系統(tǒng)的分布式數(shù)據(jù)管理開發(fā)案例
浪潮信息推出基于新一代分布式存儲平臺AS13000G7的AIGC存儲解決方案

評論