2EB最大單一存儲集群
普通個人電腦硬盤一般為500GB,1TB大約等于兩塊電腦盤,1 PB大約等于2000塊電腦硬盤,1EB大約相當于兩百萬塊個人電腦的硬盤,1EB數(shù)據(jù)量假設用的10TB磁盤的話也需要10萬塊,如此規(guī)模的硬盤摞在一起相比也是非常壯觀,更何況要在企業(yè)數(shù)據(jù)中心交付的話,需要非常多的硬件設備。
在杉巖數(shù)據(jù)的品牌戰(zhàn)略暨新品發(fā)布會上,CEO陳堅介紹說,杉巖數(shù)據(jù)最大單一存儲集群規(guī)模達到了2EB。按照上述粗獷的估算方法,大概需要20萬塊硬盤,一塊3.5寸的盤大約600g,20萬塊大概是12噸,普通轎車的重量大約在1.5到2噸,算下來就是6到8輛轎車的重量,夠形象了吧。
杉巖數(shù)據(jù)CEO
韓信點兵,多多益善,大規(guī)模軍隊作戰(zhàn)難點在于如何高效地組織起有效的進攻和防守,對將領的要求非常高。而杉巖數(shù)據(jù)組織20萬塊硬盤的操作同樣考慮組織能力,杉巖靠的是軟件層次上的創(chuàng)新,將成千上萬個硬盤組織起來構(gòu)成一個集群,在技術上也是非常大的挑戰(zhàn)。
2EB最大單一存儲集群的出現(xiàn),是用戶用行動證明了對于杉巖數(shù)據(jù)這樣一家存儲公司的認可。如此大規(guī)模的部署案例,這家分布式存儲公司再也不能低調(diào)了。
杉巖數(shù)據(jù)是誰?
杉巖數(shù)據(jù)是一家來自深圳的軟件定義存儲廠商,杉巖數(shù)據(jù)的名字音譯自SandStone(砂巖),砂巖是一種沉積巖,主要組成是地殼最常見的成分,而杉巖數(shù)據(jù)做的軟件定義存儲依靠的是最常見的通用服務器,在此基礎上加入軟件存儲系統(tǒng)。
從IDC給出的市場數(shù)據(jù)來看,杉巖數(shù)據(jù)在中國對象存儲市場份額排在第二位,在塊存儲市場也排在第五位,整體軟件定義存儲市場份額能達到第六位,是一家主流的軟件定義存儲廠商,在市場上扮演重要角色。
企業(yè)級存儲市場通常需要慢工出細活兒。杉巖數(shù)據(jù)成立于2014年,僅僅六年后的2020年就有如此成績還是非常令人羨慕的,不久前,杉巖數(shù)據(jù)還宣布獲得了1.5億人民幣的B+輪融資,收獲市場和資本雙重認可,在品牌戰(zhàn)略暨新品發(fā)布會上,還有有包括華為和阿里云等技術合作伙伴,以及許多行業(yè)用戶站臺。
杉巖數(shù)據(jù)的崛起之路
2014年,在深圳一個不到三十平的民房里,有幾位碼農(nóng)在電腦前忙碌著,一位中年男子,一會兒負責做飯,一會兒負責掃地,燈泡壞了估計還是他負責換,這位中年男子就是陳堅,而這,就是杉巖數(shù)據(jù)創(chuàng)始成員最早的辦公地點,團隊成員除了陳堅以外,另外幾位小伙伴全都負責寫代碼。
杉巖數(shù)據(jù)的初始創(chuàng)始成員包括陳堅在內(nèi),主要都來自華為的企業(yè)存儲業(yè)務部門,原本做的業(yè)務就與分布式存儲相關,對普通人來說從華為出走其實需要不少勇氣,華為待遇其實非常好,2014年的華為存儲也正處于快速成長期,眼看著業(yè)務蒸蒸日上其實想走更難,創(chuàng)業(yè)很累不說,還要很多不確定性,除非是對要做的事情非常有把握。
2014年,開源云的浪潮襲來,以OpenStack為代表的開源云方案收獲大量擁躉,中國技術才趕上了這波浪潮,與全世界開源愛好者一道做起了開源云,軟件開發(fā)者越發(fā)意識到了軟件所能創(chuàng)造的價值,有人說軟件能定義一切,對于做基礎技術的人而言,軟件定義存儲也從概念一步步變?yōu)楝F(xiàn)實。
Ceph作為OpenStack推薦的存儲方案,也很快變得家喻戶曉,使用OpenStack和Ceph的企業(yè)用戶也非常多,以電信運營商為主的大型企業(yè)客戶在大規(guī)模使用OpenStack方案。同時,國內(nèi)出現(xiàn)了許多基于Ceph的開源存儲解決方案供應商,杉巖數(shù)據(jù)就是其中的典型代表。
基于Ceph開源項目做企業(yè)級存儲方案并不容易,Ceph只是技術方案,而企業(yè)對于存儲方案的穩(wěn)定性和可靠性要求非常高,將技術轉(zhuǎn)變?yōu)榻?jīng)過驗證的產(chǎn)品方案需要經(jīng)過長期的打磨過程,各種辛苦只有杉巖自己最懂。
2020年8月18日,杉巖數(shù)據(jù)六周年前夕召開的這次品牌戰(zhàn)略暨新品發(fā)布會,是杉巖數(shù)據(jù)第一次正式的發(fā)布會,標志著杉巖數(shù)據(jù)正式走上臺前,結(jié)束了低調(diào)期。
CEO陳堅將過去六年分為兩個階段,2014年到2017年期間是產(chǎn)品打磨期,打磨產(chǎn)品的可靠性、穩(wěn)定性、可用性和可維護性,先是2015年發(fā)布了杉巖統(tǒng)一存儲平臺USP,隨后2016年發(fā)布海量對象存儲MOS,應對海量非結(jié)構(gòu)化數(shù)據(jù)存儲的場景。這一階段積累了第一批行業(yè)頭部客戶,比如中國移動、深圳供電局、廣發(fā)證券等。
第二階段,產(chǎn)品趨于成熟的同時開始大規(guī)模推向市場,很快,市場取得了突飛猛進的成果,在金融、電力、能源、醫(yī)療、教育等等十多個行業(yè)和20多個應用場景收獲500+客戶,上線的總?cè)萘砍^了3000PB,單一集群數(shù)據(jù)規(guī)模2EB達到中國最大。
此外,杉巖還是中國云計算標準單位成員之一,中國去年發(fā)布的云存儲的國標中杉巖是參與標準制定的單位,行業(yè)影響力提升。
從2014年到2020年,杉巖數(shù)據(jù)在6年內(nèi)總共完成了4輪融資,包括天璣數(shù)據(jù)、順為資本、廣發(fā)乾和、深圳擔保集團、中遠海運、襄禾資本以及無錫金投都是杉巖數(shù)據(jù)的投資方,有行業(yè)和政府方面的資金,資金方全都是以人民幣的方式注資。
陳堅強調(diào),杉巖數(shù)據(jù)是一家技術驅(qū)動型公司,200名員工中有60%都是研發(fā)人員,但企業(yè)級存儲產(chǎn)品的研發(fā)要靠技術更要靠經(jīng) 驗,杉巖數(shù)據(jù)的核心研發(fā)人員,平均在存儲領域研發(fā)經(jīng)驗在7年以上,杉巖數(shù)據(jù)有一支強大的研發(fā)隊伍,為杉巖數(shù)據(jù)貢獻了40多項發(fā)明和專利。
如今的杉巖數(shù)據(jù)儼然已是一家獨立的存儲新勢力。
杉巖數(shù)據(jù)的發(fā)展要點與技術創(chuàng)新
作為存儲行業(yè)的老兵,陳堅將存儲發(fā)展總結(jié)為三個階段,第一階段的重點是存好數(shù)據(jù),第二階段是管理好各種數(shù)據(jù),當下所處的第三階段是用好數(shù)據(jù),這個時代的特征是智能。陳堅認為,真正的智能存儲應該具有數(shù)據(jù)感知和應用感知的能力,存儲系統(tǒng)能夠幫助上層應用做數(shù)據(jù)的處理和智能的調(diào)度,幫助應用做加速和優(yōu)化。
智能是杉巖數(shù)據(jù)未來的一大發(fā)展方向,發(fā)布會現(xiàn)場,杉巖數(shù)據(jù)發(fā)布了新一代杉巖融合智能大數(shù)據(jù)存儲解決方案,另外一個重點是國產(chǎn)自主可控,為此,杉巖發(fā)布了華巖安全存儲一體化解決方案。
杉巖數(shù)據(jù)的對象存儲是傳統(tǒng)強項,杉巖數(shù)據(jù)CTO邱尚高介紹了對象存儲的最新消息。新的對象存儲V6版本在存的能力上有突破,文件規(guī)模理論上可以達到1000億,單桶文件數(shù)支持30億個。通常情況下,文件數(shù)的增多將影響到性能表現(xiàn),但杉巖數(shù)據(jù)的整體系統(tǒng)性能表現(xiàn)非常平穩(wěn),性能僅下降10%。
與阿里云深度合作構(gòu)建強化版混合云。以前許多混合云都只是能將本地存儲的數(shù)據(jù)歸檔到公有云上,而杉巖數(shù)據(jù)與阿里云構(gòu)建的混合云能進行雙向數(shù)據(jù)同步,不僅如此,業(yè)務還能同時在公有云和私有云上運行,還可以進行業(yè)務的平滑遷移。
強化異構(gòu)納管能力。在異構(gòu)方面,V6版本能夠納管如開源的對象存儲、金融行業(yè)應用較多的Documentum、FileNet、 FastDFS等第三方的對象存儲,幫助客戶縮短數(shù)據(jù)遷移時間,保護用戶現(xiàn)有投資。
智能處理引擎功能。在杉巖對象存儲里面,可以用插件對各種處理組件(OCR識別,或者全文識別,或者人臉識別、車輛識別、機器學習領域等等)進行結(jié)合,將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù),提升數(shù)據(jù)的價值和使用效率,為AI、機器學習等領域的業(yè)務賦能。
MosFS主要解決了機器學習對于高吞吐和低時延的需求問題,在上層利用內(nèi)存以及SSD等技術來加速數(shù)據(jù)訪問。同時,結(jié)合業(yè)務感知能力,為數(shù)據(jù)做一層高速緩存來保障機器學習的性能。MosFS還可以把計算存儲的本地存盤組成一個分布式的緩存層,加快訓練速度。
面向大數(shù)據(jù),杉巖對象存儲通過替換傳統(tǒng)HDFS存儲來降低成本并提高性能,做法是提供兼容HDFS的接口,把HDFS的數(shù)據(jù)歸集到統(tǒng)一的存儲上,幫助客戶實現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)跟半結(jié)構(gòu)化數(shù)據(jù)或者結(jié)構(gòu)化數(shù)據(jù)的完全統(tǒng)一。
華巖國產(chǎn)化一體機是一款統(tǒng)一存儲產(chǎn)品,這款產(chǎn)品是基于統(tǒng)一存儲產(chǎn)品軟件構(gòu)建的產(chǎn)品,底層采用國產(chǎn)處理器和國產(chǎn)服務器,對外提供標準的塊存儲以及標準的文件接口和對象接口,滿足復合型的業(yè)務要求。目前該產(chǎn)品底層處理器支持華為鯤鵬,飛騰,海光,操作系統(tǒng)采用基于信創(chuàng)的麒麟和統(tǒng)信操作系統(tǒng)。
結(jié)語
2020年8月的這次品牌戰(zhàn)略暨新品發(fā)布會是杉巖數(shù)據(jù)第一次正式發(fā)布會,高調(diào)介紹2EB最大單一存儲集群的項目,高調(diào)進行產(chǎn)品發(fā)布,這意味著韜光養(yǎng)晦的日子正式告一段落了。
責任編輯:pj
-
數(shù)據(jù)
+關注
關注
8文章
7241瀏覽量
91028 -
人臉識別
+關注
關注
76文章
4069瀏覽量
83692 -
阿里云
+關注
關注
3文章
1005瀏覽量
43882
發(fā)布評論請先 登錄
FX3進行讀或?qū)懖僮鲿rCS信號拉低,在讀或?qū)懲瓿珊驝S置高,對吞吐量有沒有影響?
**【技術干貨】Nordic nRF54系列芯片:傳感器數(shù)據(jù)采集與AI機器學習的完美結(jié)合**
憶聯(lián)PCle 5.0 SSD助力數(shù)據(jù)中心TCO優(yōu)化

【「具身智能機器人系統(tǒng)」閱讀體驗】+數(shù)據(jù)在具身人工智能中的價值
什么是機器學習?通過機器學習方法能解決哪些問題?

NPU與機器學習算法的關系
中國移動發(fā)布廣域高吞吐100Gbps網(wǎng)卡
當前主流的大模型對于底層推理芯片提出了哪些挑戰(zhàn)
洛杉物理服務器怎么樣?
【「時間序列與機器學習」閱讀體驗】+ 簡單建議
3GPP R16的主要特點
機器學習中的數(shù)據(jù)分割方法
機器學習中的數(shù)據(jù)預處理與特征工程
機器學習在數(shù)據(jù)分析中的應用
便攜式高光譜成像系統(tǒng):巖礦高光譜遙感

評論