隨著數(shù)字化轉(zhuǎn)型的加速和數(shù)據(jù)安全戰(zhàn)略的提升,以及國(guó)家政策的驅(qū)動(dòng),政府、金融、能源等關(guān)鍵領(lǐng)域?qū)?shù)據(jù)存儲(chǔ)的自主可控要求不斷提高,傳統(tǒng)依賴(lài)國(guó)外芯片和技術(shù)的集中式存儲(chǔ)架構(gòu)面臨安全與擴(kuò)展性瓶頸。例如,政務(wù)云場(chǎng)景中原有的非信創(chuàng)服務(wù)器難以滿(mǎn)足要求,存在供應(yīng)鏈斷供與數(shù)據(jù)泄露風(fēng)險(xiǎn)。
分布式存儲(chǔ)需求
與此同時(shí),非結(jié)構(gòu)化數(shù)據(jù)爆發(fā)式增長(zhǎng)(如文檔、影像等)對(duì)存儲(chǔ)系統(tǒng)的彈性擴(kuò)展和性能提出更高需求,傳統(tǒng)集中式存儲(chǔ)架構(gòu)面臨性能瓶頸、擴(kuò)展性不足等問(wèn)題,而分布式存儲(chǔ)憑借彈性擴(kuò)展、高并發(fā)處理、多協(xié)議兼容等優(yōu)勢(shì),成為應(yīng)對(duì)海量非結(jié)構(gòu)化數(shù)據(jù)增長(zhǎng)的關(guān)鍵技術(shù)路徑。
市場(chǎng)趨勢(shì)上,算力經(jīng)濟(jì)與AI大模型的爆發(fā)式增長(zhǎng)進(jìn)一步驅(qū)動(dòng)分布式存儲(chǔ)需求。2024年國(guó)內(nèi)分布式存儲(chǔ)市場(chǎng)規(guī)模已超百億元,未來(lái),隨著《數(shù)據(jù)產(chǎn)業(yè)高質(zhì)量發(fā)展指導(dǎo)意見(jiàn)》等政策落地,國(guó)內(nèi)分布式存儲(chǔ)將在數(shù)據(jù)要素市場(chǎng)化中發(fā)揮更關(guān)鍵作用。
01XDFS存儲(chǔ)架構(gòu)
XDFS是大道云行自主研發(fā)的分布式統(tǒng)一存儲(chǔ)產(chǎn)品,它以海量文件數(shù)據(jù)存儲(chǔ)管理為核心,在專(zhuān)業(yè)的分布式存儲(chǔ)技術(shù)基礎(chǔ)上,融入了云歸檔、存儲(chǔ)分層、安全強(qiáng)化等多種特性,并向眾多垂直行業(yè)AI應(yīng)用場(chǎng)景不斷拓展。
△ XDFS分布式統(tǒng)一存儲(chǔ)系統(tǒng)
XDFS產(chǎn)品優(yōu)勢(shì)
多重?cái)?shù)據(jù)冗余
XDFS可以為客戶(hù)業(yè)務(wù)提供多重的存儲(chǔ)數(shù)據(jù)冗余保護(hù)機(jī)制,同時(shí)支持硬件RAID和副本與糾刪碼機(jī)制。RAID機(jī)制可以實(shí)現(xiàn)硬盤(pán)級(jí)校驗(yàn)保護(hù)情況下保障硬盤(pán)故障時(shí)幾乎不影響到分布式存儲(chǔ)集群的整體性能;在多副本機(jī)制上可以支持1~8副本,以及仲裁雙副本,且支持集群內(nèi)最大一半節(jié)點(diǎn)故障,且故障修復(fù)僅影響同組節(jié)點(diǎn);糾刪碼機(jī)制可以支持N+1,N+2,N+4, 最大允許4個(gè)硬盤(pán)&節(jié)點(diǎn)故障。
在線(xiàn)靜默錯(cuò)誤檢查
靜默錯(cuò)誤檢查功能,可以識(shí)別因讀/寫(xiě)方向錯(cuò)誤、驅(qū)動(dòng)器老化、電流異常、驅(qū)動(dòng)程序錯(cuò)誤等導(dǎo)致的扇區(qū)數(shù)據(jù)異常。可以對(duì)存儲(chǔ)在卷上的數(shù)據(jù)進(jìn)行多種可選線(xiàn)程速率異常檢測(cè),以及小時(shí)、天、周、月等不同時(shí)間跨度的周期性檢測(cè),保障客戶(hù)數(shù)據(jù)的靜默存儲(chǔ)安全。
數(shù)據(jù)流轉(zhuǎn),多級(jí)歸檔
針對(duì)企業(yè)海量數(shù)據(jù)存儲(chǔ)與歸檔需求,XDFS可以結(jié)合藍(lán)光、云存儲(chǔ)構(gòu)建二級(jí)存儲(chǔ)架構(gòu),實(shí)現(xiàn)海量低頻數(shù)據(jù)的歸檔遷移管理,將低頻數(shù)據(jù)保存在經(jīng)濟(jì)、大容量的存儲(chǔ)空間,為高頻數(shù)據(jù)釋放出更高性能的存儲(chǔ)資源,并實(shí)現(xiàn)數(shù)據(jù)在兩級(jí)存儲(chǔ)設(shè)備之間的自動(dòng)遷移與快速訪問(wèn)。
融合方案優(yōu)勢(shì)
軟硬件自主可控;
滿(mǎn)足企業(yè)級(jí)用戶(hù)對(duì)文件、對(duì)象的海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)需求;
軟硬件架構(gòu)的精簡(jiǎn)融合優(yōu)化,帶來(lái)整體TCO的最優(yōu)投入,實(shí)現(xiàn)綠色、低碳創(chuàng)新;
雙重?cái)?shù)據(jù)冗余架構(gòu)的設(shè)計(jì),穩(wěn)定高效;
02FASS存儲(chǔ)架構(gòu)
FASS分布式全閃存儲(chǔ)系統(tǒng)是大道云行自主研發(fā)的旗艦產(chǎn)品,專(zhuān)為IO密集型應(yīng)用而生。FASS采用頂尖的全閃存硬件架構(gòu),結(jié)合專(zhuān)為NVMe閃存優(yōu)化的分布式存儲(chǔ)軟件,通過(guò)高速網(wǎng)絡(luò)無(wú)縫整合多節(jié)點(diǎn)SSD資源,構(gòu)建出高性能、高可用且易于擴(kuò)展的塊存儲(chǔ)資源池。該系統(tǒng)以iSCSI、NVMeoF等先進(jìn)接口提供極致存儲(chǔ)性能,輕松實(shí)現(xiàn)千萬(wàn)級(jí)IOPS與微秒級(jí)延遲,完美滿(mǎn)足虛擬化、數(shù)據(jù)庫(kù)、人工智能等領(lǐng)域?qū)Υ鎯?chǔ)性能與靈活性的嚴(yán)苛要求,推動(dòng)企業(yè)數(shù)字化轉(zhuǎn)型與業(yè)務(wù)發(fā)展。
△ FASS分布式全閃存儲(chǔ)系統(tǒng)
FASS產(chǎn)品優(yōu)勢(shì)
Kernel-bypass消除性能瓶頸
在全閃存模式下,存儲(chǔ)系統(tǒng)的軟件設(shè)計(jì)如不充分考慮SSD的地址映射、多隊(duì)列、垃圾回收等一系列特性,即使將介質(zhì)全換成SSD,也無(wú)法發(fā)揮出SSD真正的性能。NVMe SSD的優(yōu)異性能表現(xiàn)意味著更高的資源開(kāi)銷(xiāo),它讓操作系統(tǒng)暴露出CPU核心調(diào)度低效、內(nèi)存資源競(jìng)爭(zhēng)、上下文切換延遲高等問(wèn)題。標(biāo)準(zhǔn)操作系統(tǒng)完全沒(méi)有考慮到現(xiàn)代計(jì)算機(jī)的多核心、大內(nèi)存以及高并發(fā)的運(yùn)行模式,因而在高并發(fā)壓力,如海量I/O的高速處理場(chǎng)景下,CPU核心的資源競(jìng)爭(zhēng)與不合理調(diào)度,成為系統(tǒng)最大的性能瓶頸。
有鑒于此,F(xiàn)ASS設(shè)計(jì)了高性能的kernrl-bypass核心,通過(guò)私有CPU調(diào)度器與虛擬內(nèi)存管理,基于微控制器實(shí)現(xiàn)高效的并發(fā)流水線(xiàn)作業(yè),從而從根源上解決存儲(chǔ)系統(tǒng)的性能問(wèn)題。構(gòu)建了軟件定義的超高性能分布式全閃存儲(chǔ)系統(tǒng)。
并行流水線(xiàn)實(shí)現(xiàn)超高并發(fā)
在FASS集群中,每個(gè)節(jié)點(diǎn)的角色都是完全對(duì)等的,讀寫(xiě)I/O從應(yīng)用端流入后,被拆分成多個(gè)階段,分別對(duì)應(yīng)著各個(gè)微控制器進(jìn)程。每個(gè)I/O被轉(zhuǎn)發(fā)到本節(jié)點(diǎn)內(nèi)的其他微控制器上進(jìn)行下一步處理,逐步流水線(xiàn)推進(jìn)直到數(shù)據(jù)最終落盤(pán)。各個(gè)微控制器間由于相對(duì)固定的資源鎖定,幾乎不存在CPU核心資源競(jìng)爭(zhēng)與跨NUMA節(jié)點(diǎn)的訪問(wèn),也不存在因?yàn)镃PU上下文切換與分支預(yù)測(cè)錯(cuò)誤帶來(lái)的巨大延遲開(kāi)銷(xiāo),多個(gè)讀寫(xiě)I/O宏觀上被均勻地分布在整個(gè)集群,由各個(gè)節(jié)點(diǎn)的多個(gè)CPU核心進(jìn)行高效的并行協(xié)作處理,從而實(shí)現(xiàn)了在分布式體系下微秒級(jí)的極低時(shí)延響應(yīng)。
兆芯+大道云行方案綜合應(yīng)用場(chǎng)景
高性能云計(jì)算解決方案(虛擬化/云/容器)
需求分析
· 裸金屬云、高性能云主機(jī)的普及,推動(dòng)高性能塊存儲(chǔ)需求;
·云業(yè)務(wù)快速增長(zhǎng)需要基于IP網(wǎng)絡(luò),支持橫向擴(kuò)展特性;
·傳統(tǒng)分布式存儲(chǔ)IOPS和延遲不足,全閃存陣列擴(kuò)展能力有限;
解決方案
·FASS + XDFS 分別提供塊存儲(chǔ)和文件存儲(chǔ)存儲(chǔ)池;
·塊存儲(chǔ)作為虛擬化平臺(tái)底座,文件作為云主機(jī)共享空間;
·支持 iSCSI / NVMeoF / Cinder / CSI(K8S容器)等接口;
·入門(mén):25GE RoCE + SATA SSD 可提供百萬(wàn)級(jí) IOPS 性能支持;
·高性能:100GE RoCE + NVMe SSD 可提供千萬(wàn)級(jí) IOPS 性能輸出;
用戶(hù)價(jià)值
·建設(shè)獨(dú)立的性能和容量存儲(chǔ)池,同時(shí)滿(mǎn)足高性能和大容量存儲(chǔ)需求;
·初建規(guī)模可控,彈性擴(kuò)建,符合 IT 發(fā)展趨勢(shì),面向未來(lái)的建設(shè)方式;
·同配置更高的負(fù)載能力,更高的投資匯報(bào)率 ;
兆芯服務(wù)器處理器KH-40000
兆芯開(kāi)勝KH-40000系列服務(wù)器處理器可構(gòu)建64核服務(wù)器整機(jī)系統(tǒng),具備64MB高速緩存,支持8通道DDR4內(nèi)存,提供多達(dá)128 Lane PCIe通道,以及SATA、USB等主流IO接口,滿(mǎn)足服務(wù)器應(yīng)用對(duì)多核心、多內(nèi)存、多PCIe擴(kuò)展等需求。同時(shí),該處理器還支持安全啟動(dòng)技術(shù)、國(guó)密算法,以及國(guó)標(biāo)可信計(jì)算體系,提供服務(wù)器級(jí)RAS和BMC管理功能增強(qiáng),可為信息安全、產(chǎn)品可靠性、可用性、可服務(wù)性以及運(yùn)營(yíng)維護(hù)等需求提供更強(qiáng)的支持和保障。
目前,基于KH-40000系列處理器的服務(wù)器產(chǎn)品已經(jīng)應(yīng)用于超融合一體機(jī)、云計(jì)算、大數(shù)據(jù)分析、視頻處理、數(shù)據(jù)庫(kù)備份、高性能存儲(chǔ)等解決方案的搭建和部署,支撐行業(yè)應(yīng)用平滑遷移和快速落地等訴求。
| 本文源自大道云行,轉(zhuǎn)載時(shí)略有調(diào)整
關(guān)于大道云行
北京大道云行科技有限公司(簡(jiǎn)稱(chēng):大道云行/TaoCloud)是卓越的軟件定義存儲(chǔ)產(chǎn)品及技術(shù)服務(wù)供應(yīng)商,引領(lǐng)新一代全閃軟件定義存儲(chǔ)潮流。公司專(zhuān)注于為企業(yè)級(jí)用戶(hù)量身打造高效智能的存儲(chǔ)解決方案。大道云行自2015成立以來(lái)一直聚焦于分布式存儲(chǔ)領(lǐng)域,堅(jiān)持自主研發(fā)和產(chǎn)品創(chuàng)新,從大容量高性?xún)r(jià)比SDS 1.0到極致性能型全閃SDS 2.0,成功構(gòu)建了自己的產(chǎn)品技術(shù)壁壘,厚積薄發(fā),夯實(shí)了新一代全閃軟件定義存儲(chǔ)領(lǐng)導(dǎo)者地位。
關(guān)于兆芯
兆芯堅(jiān)持自主創(chuàng)新、生態(tài)完善、好用不貴的發(fā)展理念,掌握自主通用處理器及其系統(tǒng)平臺(tái)芯片研發(fā)設(shè)計(jì)的核心技術(shù),全面覆蓋其微架構(gòu)與實(shí)現(xiàn)技術(shù)等關(guān)鍵領(lǐng)域,構(gòu)建了健全的知識(shí)產(chǎn)權(quán)體系,致力于為用戶(hù)提供高效、兼容、安全的自主通用處理器和芯片組等產(chǎn)品,構(gòu)建從云到邊再到端等各種應(yīng)用場(chǎng)景下的計(jì)算解決方案,支撐政務(wù)、金融、教育、通信與廣播電視、能源、交通、醫(yī)療、工業(yè)制造等行業(yè)應(yīng)用的平滑遷移,幫助用戶(hù)節(jié)約成本,支撐產(chǎn)業(yè)創(chuàng)新升級(jí),助力加快構(gòu)建“雙循環(huán)”新發(fā)展格局,推動(dòng)國(guó)民經(jīng)濟(jì)高質(zhì)量發(fā)展。
-
處理器
+關(guān)注
關(guān)注
68文章
19813瀏覽量
233615 -
存儲(chǔ)
+關(guān)注
關(guān)注
13文章
4507瀏覽量
87088 -
AI
+關(guān)注
關(guān)注
87文章
34294瀏覽量
275480 -
兆芯
+關(guān)注
關(guān)注
2文章
215瀏覽量
17839
原文標(biāo)題:承載AI浪潮 兆芯與大道云行共建高性能信創(chuàng)存儲(chǔ)底座
文章出處:【微信號(hào):gh_dff030a16604,微信公眾號(hào):兆芯】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
麒麟軟件一行到訪兆芯
兆芯與統(tǒng)信軟件深化戰(zhàn)略合作 簽訂"技術(shù)共研、生態(tài)共建、市場(chǎng)共拓"的三維合作框架

兆芯攜手產(chǎn)業(yè)伙伴推動(dòng)AI+教育信創(chuàng)融合發(fā)展
兆芯+圖云創(chuàng)智—可信分布式存儲(chǔ)系統(tǒng)解決方案

信創(chuàng)丨誠(chéng)邁科技成都高性能信創(chuàng)計(jì)算機(jī)產(chǎn)線(xiàn)榮耀下線(xiàn)!

新版兆芯服務(wù)器應(yīng)用解決方案發(fā)布
兆芯助力聯(lián)想開(kāi)天M90z G1t高性能AI PC發(fā)布
兆芯KX-7000榮獲2024年度十大信創(chuàng)CPU產(chǎn)品
兆芯智慧教育解決方案新版發(fā)布
兆芯榮獲2024年度十大信創(chuàng)芯片品牌
基于兆芯CPU的全棧SCADA一體化方案榮獲信創(chuàng)優(yōu)秀方案獎(jiǎng)
兆芯與統(tǒng)信軟件生態(tài)聯(lián)合解決方案全新發(fā)布
兆芯CPU近期產(chǎn)品適配成果匯總
基于分布式存儲(chǔ)WDS的金融信創(chuàng)云承載數(shù)據(jù)庫(kù)類(lèi)關(guān)鍵應(yīng)用

評(píng)論