女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

超融合數據中心網絡發展及趨勢

架構師技術聯盟 ? 來源:架構師技術聯盟 ? 2023-05-19 11:16 ? 次閱讀

數據中心網絡連接數據中心內部通用計算、存儲和高性能計算資源,服務器間的所有數據交互都要經由網絡轉發。當前,IT架構、計算和存儲技術都在發生重大變革,驅動數據中心網絡從原來的多張網絡獨立部署向全以太化演進。而傳統的以太網無法滿足存儲和高性能計算的業務需求。超融合數據中心網絡以全無損以太網來構建新型的數據中心網絡,使通用計算、存儲、高性能計算三大種類業務均能融合部署在一張以太網上,同時實現全生命周期自動化和全網智能運維。

為什么會產生超融合數據數據中心網?

現狀:數據中心內有三張網絡

數據中心內部有三類典型的業務:通用計算(一般業務)、高性能計算(HPC)業務和存儲業務。每類業務對于網絡有不同的訴求,比如:HPC業務的多節點進程間通信,對于時延要求非常高;而存儲業務對可靠性訴求非常高,要求網絡0丟包;通用計算業務規模大,擴展性強,要求網絡低成本、易擴展。

由于上述業務對網絡的要求不同,當前數據中心內部一般會部署三張不同的網絡:

由IB(InfiniBand)網絡來承載HPC業務

由FC(Fiber Channel)網絡來承載存儲網絡

由以太網來承載通用計算業務

415ab00c-f5ef-11ed-90ce-dac502259ad0.png


數據中心內的三張網絡

AI時代的變化1:存儲和計算能力大幅提升,網絡成為瓶頸

企業數字化過程中將產生大量的數據,這些數據正在成為企業核心資產。通過AI技術從海量數據中挖掘價值成為AI時代不變的主題。通過AI機器學習利用各種數據輔助實時決策,已經成為企業經營的核心任務之一。與云計算時代相比,AI時代企業數據中心的使命正在從聚焦業務快速發放向聚焦數據高效處理轉變。

41628566-f5ef-11ed-90ce-dac502259ad0.png


數據中心正在從云計算時代走向AI時代 為了提升海量AI數據處理的效率,存儲和計算領域正在發生革命性的變化:

存儲介質從機械硬盤(HDD)演進到閃存盤(SSD),來滿足數據的實時存取要求,存儲介質時延降低了不止100倍。

為了滿足數據高效計算的訴求,業界已經在采用GPU甚至專用的AI芯片,處理數據的能力提升了100倍以上。

隨著存儲介質和計算能力的大幅提升,在高性能的數據中心集群系統中,當前網絡通信的時延成為應用整體性能進一步提升的瓶頸,通信時延在整個端到端時延中占比從10%上升到60%以上,也就是說,寶貴的存儲或計算資源有一半以上的時間是在等待網絡通信。

總的來說,隨著存儲介質和計算處理器的演進,網絡的低效阻礙了計算和存儲性能的發揮;只有將通信時長降低到與計算和存儲接近,才能消除木桶原理中的“短板”,提升應用整體的性能。

AI時代的變化2:RDMA替代TCP/IP成為大勢所趨,但RDMA的網絡承載方案存在不足

如下圖所示,在服務器內部,由于TCP協議棧在接收/發送報文,以及對報文進行內部處理時,會產生數十微秒的固定時延,這使得在AI數據運算和SSD分布式存儲這些微秒級系統中,TCP協議棧時延成為最明顯的瓶頸。另外,隨著網絡規模的擴大和帶寬的提高,寶貴的CPU資源越來越地多被用于傳輸數據。

RDMA(Remote Direct Memory Access)允許應用與網卡之間的直接數據讀寫,將服務器內的數據傳輸時延降低到接近1us。同時,RDMA允許接收端直接從發送端的內存讀取數據,極大減少了CPU的負擔。

416a61aa-f5ef-11ed-90ce-dac502259ad0.png


RDMA與TCP的對比

根據業務的測試數據, 采用RDMA可以將計算的效率同比提升6~8倍;而服務器內1us的傳輸時延也使得SSD分布式存儲的時延從ms級降低到us級成為可能,所以在最新的NVMe(Non-Volatile Memory express)接口協議中,RDMA成為主流的默認網絡通信協議棧。因此,RDMA替換TCP/IP成為大勢所趨。

在服務器之間的互聯網絡中,當前有兩種方案來承載RDMA:專用InfiniBand網絡和傳統IP以太網絡,然而,它們都存在不足:

InfiniBand網絡:架構封閉,采用私有協議,難以與現網大規模的IP網絡實現很好的兼容互通;運維復雜,專人運維,OPEX居高不下。

傳統IP以太網:對于RDMA來說,大于10-3的丟包率,將導致網絡有效吞吐急劇下降,2%的丟包則使得RDMA的吞吐率下降為0。要使得RDMA吞吐不受影響,丟包率必須保證在十萬分之一以下,最好為無丟包。而擁塞丟包是傳統IP以太網絡的基本機制,傳統IP以太網中會使用PFC和ECN機制來避免丟包,但其基本原理是通過反壓降低發送端速度來保證不丟包,實際上并沒有達到提升吞吐率的效果。

因此,RDMA的高效運行,離不開一個0丟包、高吞吐的開放以太網作為承載。

AI時代的變化3:分布式架構成為趨勢,加劇網絡擁塞,驅動網絡變革

在企業的數字化轉型中,以金融和互聯網企業為代表,大量的應用系統遷移到分布式系統上:通過海量的PC平臺替代傳統小型機,帶來了成本低廉、易擴展、自主可控等優勢,同時也給網絡互聯帶來了挑戰:

分布式架構帶來了服務器間大量的互通需求。

Incast型流量(多點對一點的流量)會在接收端造成流量突發,瞬間超過接收端接口能力,造成擁塞丟包。

41733ad2-f5ef-11ed-90ce-dac502259ad0.png


分布式架構流量模型示意

隨著分布式系統應用復雜度的增加,服務器之間交互的消息長度越來越大,即流量具備“大包”特征,進一步加劇了網絡擁塞。

什么是超融合網數據中心網絡的核心指標?

從上一節來看,為了滿足AI時代的數據高效處理訴求、應對分布式架構挑戰,0丟包、低時延、高吞吐成為下一代數據中心網絡的三個核心指標。這三個核心指標是互相影響,有蹺蹺板效應,同時達到最優有很大的挑戰。

417afce0-f5ef-11ed-90ce-dac502259ad0.png


三個核心指標相互影響

同時滿足0丟包、低時延、高吞吐,背后的核心技術是擁塞控制算法。通用的無損網絡的擁塞控制算法DCQCN(Data Center Quantized Congestion Notification),需要網卡和網絡進行協作,每個節點需要配置數十個參數,全網的參數組合達到幾十萬;為了簡化配置,只能采用通用的配置,導致針對不同的流量模型,常常無法同時滿足這三個核心指標。

超融合數據中心網絡與HCI有什么異同?

HCI(Hyper-Converged Infrastructure,超融合基礎架構)是指在同一套單元設備中不但具備了計算、網絡、存儲和服務器虛擬化等資源和技術,而且多套單元設備可以通過網絡聚合起來,實現模塊化的無縫橫向擴展(Scale—Out),形成統一的資源池。

HCI將虛擬化計算和存儲整合到同一個系統平臺。簡單地說就是物理服務器上運行虛擬化軟件(Hypervisor),通過在虛擬化軟件上運行分布式存儲服務供虛擬機使用。分布式存儲可以運行在虛擬化軟件上的虛擬機里也可以是與虛擬化軟件整合的模塊。廣義上說,HCI既可以整合計算和存儲資源,還可以整合網絡以及其它更多的平臺和服務。目前業界普遍認為,軟件定義的分布式存儲層和虛擬化計算是HCI架構的最小集。

與HCI不同,超融合數據中心網絡只專注于網絡層面,提供全新的計算、存儲互聯的網絡層方案。使用超融合數據中心網絡,不需像HCI那樣對計算資源、存儲資源進行改造和融合,并且基于以太網很容易實現成低成本的快速擴容。

的超融合數據中心網絡,基于開放以太網,通過獨特的AI算法,可以使以太網絡同時滿足低成本,0丟包和低時延的訴求。超融合數據中心網絡成為AI時代的數據中心構建統一融合的網絡架構的最佳選擇。

41818a88-f5ef-11ed-90ce-dac502259ad0.png


從獨立組網到統一融合的組網

超融合數據數據中心網絡有什么價值?

傳統的FC專網和IB專網,價格昂貴,生態封閉,且需要專人運維,也不支持SDN,無法滿足云網協同等自動化部署的訴求。

使用華為超融合數據中心網絡具有以下價值:

提升端到端業務性能使用華為超融合數據中心網絡,據權威第三方測試EANTC測試結論,可以在HPC場景下最高降低44.3%的計算時延,在分布式存儲場景下提升25%的IOPS能力,且所有場景保證網絡0丟包。

使用華為超融合數據中心網絡,可提供25G/100G/400G組網,滿足AI時代海量數據對網絡大帶寬的需求。

降低成本,提升收益

數據中心投資中網絡占比僅10%左右,相對服務器/存儲的投資(占比85%),有10倍的杠桿效應,撬動服務器和存儲投資的大幅降低;華為超融合數據數據中心網絡可以帶來25%的存儲性能提升,40%的計算效率提升,將帶來數十倍的ROI(Return On Investment)能力。

支持SDN自動化和智能運維

華為超融合數據中心網絡支持SDN云網協同的全生命周期業務自動化,OPEX降低至少60%以上。另外,由于華為超融合數據中心網絡本質上是以太網,因此傳統以太網運維人員就可以管理,且可以依托華為智能分析平臺iMaster NCE-FabricInsight,多維度地、可視化地對網絡進行運維。

超融合數據數據中心網絡如何工作?

上文提到,使用以太網來承載RDMA流量,目前使用的協議為RoCE(RDMA over Converged Ethernet)v2。華為超融合數據中心網絡,使用iLossless智能無損算法構建無損以太網絡,是一系列技術的合集,通過以下三個方面技術的相互配合,真正解決傳統以太網絡擁塞丟包的問題,為RoCEv2流量提供“無丟包、低時延、高吞吐”的網絡環境,滿足RoCEv2應用的高性能需求。

流量控制技術

流量控制是端到端的,需要做的是抑制發送端的發送速率,以便接收端來得及接收,防止設備端口在擁塞的情況下出現丟包。華為提供了PFC死鎖檢測和死鎖預防,提前預防PFC死鎖的發生。

擁塞控制技術

擁塞控制是一個全局性的過程,目的是讓網絡能承受現有的網絡負荷,往往需要轉發設備、流量發送端、流量接收端協同作用,并結合網絡中的擁塞反饋機制來調節整網流量才能起到緩解擁塞、解除擁塞的效果。在擁塞控制過程中,華為提供了AI ECN、iQCN、ECN Overlay和NPCC功能,解決了傳統DCQCN存在的問題。

智能無損存儲網絡技術為了更好地服務存儲系統,華為提供了iNOF(智能無損存儲網絡)功能,實現對主機的快速管控。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據中心
    +關注

    關注

    16

    文章

    5117

    瀏覽量

    73165
  • 機械硬盤
    +關注

    關注

    1

    文章

    228

    瀏覽量

    25742
  • 存儲網絡
    +關注

    關注

    0

    文章

    31

    瀏覽量

    8188

原文標題:超融合數據中心網絡發展及趨勢

文章出處:【微信號:架構師技術聯盟,微信公眾號:架構師技術聯盟】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    數據中心冷卻技術的發展趨勢

    預計到2025年,全球發電量將達到26,787TWh,其中數據中心和加密貨幣將消耗約536TWh,約占全球總發電量的2%[1],[2]。按照目前的趨勢,數據中心的電力消耗到2030年很可能達到甚至超過1,000TWh,接近全球總
    的頭像 發表于 05-15 13:38 ?157次閱讀

    適用于數據中心和AI時代的800G網絡

    隨著人工智能(AI)技術的迅猛發展數據中心面臨著前所未有的計算和網絡壓力。從大語言模型(LLM)訓練到生成式AI應用,海量數據處理需求推動了網絡
    發表于 03-25 17:35

    華為全新升級星河AI數據中心網絡

    在華為中國合作伙伴大會2025期間,以 “星河AI數據中心網絡,賦AI時代新動能”為主題的數據中心網絡分論壇圓滿落幕。本次論壇匯聚了來自全國的300多位客戶和伙伴,共同探討
    的頭像 發表于 03-24 14:46 ?344次閱讀

    優化800G數據中心:高速線纜、有源光纜和光纖跳線解決方案

    高速線纜支持熱插拔功能,具有低功耗和小彎曲半徑,便于靈活布線,可實現高穩定性、低成本、節省空間和高散熱等優勢,非常適合數據中心布線需求。這些高速線纜能夠與交換機、路由器和服務器無縫集成,確保網絡
    發表于 03-24 14:20

    數據中心發展與改造

    全球多數數據中心基礎設施已六年,能耗高而效率低。隨著AI的發展,企業正致力于整合與提升能效的現代化改造。同時數據中心呈現規?;⒏呙芑⒕G色化發展
    的頭像 發表于 02-28 16:50 ?304次閱讀
    <b class='flag-5'>數據中心</b><b class='flag-5'>發展</b>與改造

    華為發布2025數據中心能源十大趨勢

    今日,華為舉辦2025數據中心能源十大趨勢發布會,華為數據中心能源領域總裁堯權全面解讀數據中心能源十大趨勢,為AI時代
    的頭像 發表于 01-14 10:24 ?389次閱讀

    華為與中國能建打造“東數西算”標桿數據中心

    出席,聚焦慶陽大數據中心產業園建設發展,深入探討能源基礎設施高效化、綠色化、智能化發展趨勢,打造西部地區數據中心建設與運營的示范樣板,為“東數西算”戰略深入推進提供有力支撐與成功范例。
    的頭像 發表于 12-09 09:47 ?678次閱讀

    NIDA發布《智算數據中心網絡建設技術要求》

    Alliance,以下簡稱 “NIDA”)攜手中國信息通信研究院等9家組織成員共同發布了《智算數據中心網絡建設技術要求》(以下簡稱 “技術要求”)。該技術要求明確了智算場景下數據中心網絡
    的頭像 發表于 12-04 11:13 ?722次閱讀

    當今數據中心新技術趨勢

    當今數據中心的新技術趨勢正以前所未有的速度推動著行業的變革與創新。隨著云計算、大數據、人工智能等技術的快速發展數據中心作為信息技術的核心基
    的頭像 發表于 10-24 15:15 ?820次閱讀

    簡述數據中心網絡架構的演變

    隨著全球對人工智能(AI)的需求不斷增長,數據中心作為AI計算的重要基礎設施,其網絡架構與連接技術的發展變得尤為關鍵。
    的頭像 發表于 10-22 16:23 ?663次閱讀

    數據中心的前沿動態與趨勢

    、云計算等新一代數字技術發展數據中樞和算力載體,對于數字經濟增長具有重要助推作用。數據中心作為各個行業信息系統運行的物理載體,已成為經濟社會運行不可或缺的關鍵基礎設施。 工信部:健全促進實體經濟和數字經濟深度
    的頭像 發表于 09-02 15:57 ?677次閱讀
    <b class='flag-5'>數據中心</b>的前沿動態與<b class='flag-5'>趨勢</b>

    怎樣保障數據中心不間斷電源不斷電 提供可靠安全的供配電#數據中心

    數據中心配電系統
    安科瑞王金晶
    發布于 :2024年08月29日 14:51:36

    數據中心在5G網絡中的演進與發展

    幾十年來,數據中心一直位于或靠近網絡中心。對于企業、電信運營商、有線電視運營商以及近來的Google和Facebook等服務提供商而言,數據中心是IT的心臟和肌肉。云技術的出現更是彰顯了現代
    的頭像 發表于 08-16 16:02 ?646次閱讀

    融合一體機是服務器嗎?與服務器有什么區別

    融合一體機不是單純的服務器,它是一種基于融合技術構建的IT基礎設施解決方案,集成了軟件和硬件,提供計算、存儲和網絡功能。這種一體機不僅簡
    的頭像 發表于 08-14 11:50 ?1448次閱讀

    數據中心、智算中心中心,有何區別?

    數據中心、智算中心中心是當前計算機領域中比較重要的研究方向,三者雖然都屬于數據中心的范疇,但在服務領域、技術體系上存在顯著的區別。服
    的頭像 發表于 06-22 08:27 ?6737次閱讀
    云<b class='flag-5'>數據中心</b>、智算<b class='flag-5'>中心</b>、<b class='flag-5'>超</b>算<b class='flag-5'>中心</b>,有何區別?