01

阿里云基礎網(wǎng)絡架構(gòu)演進

我們先回顧一下阿里云基礎網(wǎng)絡架構(gòu)的演進歷程，這有助于更好理解阿里云對自研平臺網(wǎng)絡操作系統(tǒng)的需求、AliNOS的設計理念及其發(fā)展方向。

在2017年以前，OTT作為最終網(wǎng)絡產(chǎn)品用戶看到的網(wǎng)絡設備及能力如下圖所示：

主要的痛點集中在以下四個方面。

● 商業(yè)網(wǎng)絡設備軟硬件設計對最終用戶不透明，作為網(wǎng)絡最重要的組成單元在規(guī)模化部署后，設備內(nèi)部器件的成本、失效率都對整體網(wǎng)絡有著巨大規(guī)?；?/p>

●設備的功能實現(xiàn)無法按需定制，復雜的系統(tǒng)特性排期長無法快速交付，無法滿足大規(guī)模數(shù)據(jù)中心要求；

●由于云規(guī)?；奶攸c，多廠商供應是客觀存在的，但不同廠商的運維管控方式各不相同，這對自動化管控造成非常大的挑戰(zhàn)；

●交付及設備修復需要通過廠商的運維體系，鏈條長，從而對時效滿足度低。

為解決上述痛點，從2017年始，阿里云數(shù)據(jù)中心網(wǎng)絡確立“基于全自研平臺，分布式超大規(guī)模數(shù)據(jù)中心建設”的宏偉目標。構(gòu)建超大規(guī)模全自研數(shù)據(jù)中心，第一出發(fā)點是要解決HAIL架構(gòu)中的“Highly Availability、Intelligence”，這樣才能滿足大規(guī)模部署要求下的自主可控節(jié)奏、規(guī)模化交付效率和運維高自動化。

阿里云自研白盒網(wǎng)絡設備，結(jié)合自研操作系統(tǒng)AliNOS，與后端的監(jiān)控管控自動化作為一個整體進行設計和研發(fā)，從而得以全面解決架構(gòu)、建設及運維各角度在超大規(guī)模數(shù)據(jù)中心的高可用、低成本、快速迭代及智能化的網(wǎng)絡訴求。通過白盒化，網(wǎng)絡產(chǎn)品用戶看到的網(wǎng)絡設備及能力，轉(zhuǎn)化成如下圖所示的特點。

白盒設備

標準化、模塊化白盒設備硬件組件與軟件集成，提高效率、降低成本，從而豐富生態(tài)，加速白盒規(guī)范化網(wǎng)絡發(fā)展。

DevOps

研發(fā)、架構(gòu)、運營、自動化工具平臺等多個團隊參與基于自研交換機的體系建設，深度devops定制符合阿里云數(shù)據(jù)中心架構(gòu)、交付邏輯和運維沉淀的重點需求，并能快速迭代，打造了專屬阿里云的企業(yè)版SONiC-AliNOS網(wǎng)絡操作系統(tǒng)。

IBN

通過一套網(wǎng)絡操作系統(tǒng)AliNOS的標準化南北向接口，從而使得IBN在阿里云網(wǎng)絡以更標準、更完整地規(guī)模化實現(xiàn)，提升網(wǎng)絡整體穩(wěn)定性。

自動網(wǎng)絡

端到端全自研，讓阿里云大規(guī)模數(shù)據(jù)中心網(wǎng)絡實現(xiàn)了接近全自動化交付，和運維的自驅(qū)動自適應的高可用智能網(wǎng)絡。

互聯(lián)網(wǎng)重新定義了網(wǎng)絡系統(tǒng)，白盒化解決了HAIL架構(gòu)中“HAI”代表的高可用和智能化運維。HAIL架構(gòu)中“Low Latency”所代表的高性能，則成為了驅(qū)動阿里云數(shù)據(jù)中心網(wǎng)絡全棧深度自研的動力，給出了一個持續(xù)的發(fā)展方向。2019年，基于AliNOS構(gòu)建的自研交換機及配合高性能網(wǎng)絡的RDMA技術正式大規(guī)模上線。這是一個通過可預期網(wǎng)絡架構(gòu)中的端網(wǎng)融合技術及AliNOS創(chuàng)新，為上層業(yè)務打造的超越現(xiàn)有商業(yè)解決方案可提供能力的極致高性能、高穩(wěn)定RDMA自研網(wǎng)絡。

在成功高效地部署百萬級端口，在數(shù)據(jù)中心內(nèi)為業(yè)務提供高可用、高效率、智能化以及以RDMA為代表的高性能網(wǎng)絡后，阿里云基礎網(wǎng)絡為進一步服務到更多最終應用和客戶，提出了端網(wǎng)融合可預期網(wǎng)絡（Predictable Network）的新型技術體系，這也代表著AliNOS走出了數(shù)據(jù)中心，開始走向更廣闊的領域。

02

SONiC的前世今生

AliNOS是建立在SONiC基礎之上的，同時它還集成了阿里云業(yè)務和運營需求的一些功能優(yōu)化，在介紹AliNOS之前，我們先來回顧一下SONiC的前世今生。

SONiC（Software for Open Networking in the Cloud）是一個開源的，以Linux為基礎的網(wǎng)絡操作系統(tǒng)。這個系統(tǒng)由三部分組成。

SONiC從FRR社區(qū)(Free Range Routing) 取得了一套完整的網(wǎng)絡協(xié)議棧，如BGP、BFD、LLDP。 SONiC通過OCP社區(qū) (Open Compute Project)定義了一層軟硬件解耦合的APIs-SAI（Switch Abstraction Interface）。這層APIs使得軟件和交換芯片ASIC可以獨立演進迭代。這也使得自研平臺可以根據(jù)自身需求來選取適合的交換芯片ASIC，以達到最高性價比。

SONiC自身通過SONiC社區(qū)的努力把協(xié)議、配置及交換芯片ASIC組合起來，構(gòu)成網(wǎng)絡設備的控制平面。

SONiC社區(qū)是為這個開源網(wǎng)絡操作系統(tǒng)的合作而成立的開源社區(qū)，現(xiàn)在社區(qū)有7個創(chuàng)始成員，幾十個貢獻組織和上千個做貢獻的活躍成員，阿里巴巴是早期創(chuàng)始成員之一。這個開源社區(qū)也不是一蹴而就的，SONiC最初從一個OCP旗下的項目成長起來，于2022年正式引入Linux基金會。

網(wǎng)絡操作系統(tǒng)是一個非常復雜的系統(tǒng)，不少設備廠商為了讓一個系統(tǒng)支持多種網(wǎng)絡設備、協(xié)議和不同客戶的需求，不得不提升設備廠商自身網(wǎng)絡操作系統(tǒng)的復雜度。如北美一家知名設備廠商為電信運營商支持IEFT YANG model，同時又要為云運營商支持Open Config YANG model，而不得不在一套網(wǎng)絡操作系統(tǒng)里支持兩個不同配置的YANG model做相同的事情。為了降低復雜度，SONiC最初的定位只是TOR的網(wǎng)絡操作系統(tǒng)，還做了不少簡化，即使這樣，SONiC也還是經(jīng)歷了一個痛苦摸索和演進的過程，不少早期工作在SONiC上的人都有一本辛酸血淚史，大家都是一步一坑地通過摸索、完善，才逐漸爬出來的。

經(jīng)過多年的積累，特別是包括阿里云在內(nèi)的多個云廠商的實戰(zhàn)經(jīng)驗打磨，SONiC已經(jīng)成為業(yè)界認可的網(wǎng)絡操作系統(tǒng)，不少初創(chuàng)公司以SONiC為基礎很快建立起他們設備的網(wǎng)絡操作系統(tǒng)，快速推出自己的產(chǎn)品，從而推動了整個網(wǎng)絡新技術的快速發(fā)展，阿里云通過與社區(qū)的交流在不斷貢獻的同時也獲取了不少適合自身發(fā)展的網(wǎng)絡技術。

03

AliNOS的現(xiàn)狀

AliNOS是伴隨阿里云自研網(wǎng)絡平臺的成長而成長起來的，由于阿里云網(wǎng)絡的規(guī)模龐大，廠商難以保證他們的軟件能夠有效支持這么大規(guī)模的設備，并跟上運營、變更的節(jié)奏，因此可以讓廠商代工自研設備，但必須自己掌控整個軟件棧，才能有效實現(xiàn)問題的快速修復、需求的快速響應、新技術的快速推出及安全的驗證等要求。

“求真務實，簡單開放”是阿里云基礎設施團隊的工作理念，在這個理念的指導下，阿里云基礎網(wǎng)絡團隊選擇了以SONiC為基礎，研發(fā)AliNOS這款適合阿里云需求的網(wǎng)絡操作系統(tǒng)。AliNOS的軟件代碼主要分為三大部分：SONiC的軟件代碼、交換芯片供應商提供的SAI/SDK相關代碼，以及阿里云內(nèi)部的監(jiān)管控工具。SONiC的軟件代碼包括了FRR的網(wǎng)絡協(xié)議棧和SONiC的控制平面部分。阿里云基礎網(wǎng)絡團隊還在研發(fā)、運營過程中不斷對SONiC軟件代碼進行優(yōu)化改進。

本著簡單開放的原則，阿里云也分期分批地將這些優(yōu)化改進回饋社區(qū)，如去堆疊的想法及研發(fā)結(jié)果就是阿里云依據(jù)自身的運營經(jīng)驗介紹給社區(qū)的，目前已成為行業(yè)的事實標準，大幅降低了服務器雙上連的網(wǎng)絡系統(tǒng)復雜度。

AliNOS已經(jīng)支持了阿里云數(shù)據(jù)中心網(wǎng)絡5.2架構(gòu)，6.0架構(gòu)的大規(guī)模部署，現(xiàn)在AliNOS開始了7.0架構(gòu)數(shù)據(jù)中心網(wǎng)絡開發(fā)。此外，AliNOS也開始用來支撐廣域網(wǎng)及邊緣網(wǎng)關設備，特別是對自研路由器的支持給AliNOS帶來了不少挑戰(zhàn)。不久的將來，AliNOS還將用來管理一些新型的網(wǎng)絡設備，如DPU等。AliNOS已經(jīng)從數(shù)據(jù)中心的網(wǎng)絡設備拓展到了廣域網(wǎng)及邊緣網(wǎng)的網(wǎng)絡設備，這些新的機遇不可避免地也帶來了不少新的挑戰(zhàn)。

04

新的挑戰(zhàn)

從交換機到路由器

阿里云在完成數(shù)據(jù)中心網(wǎng)絡交換機全自研后，開始把成功的經(jīng)驗拓展到數(shù)據(jù)中心互聯(lián)網(wǎng)絡上面，著手研發(fā)路由器并推動下一代廣域網(wǎng)架構(gòu)變革。從交換機到路由器，不是一個簡單的路由規(guī)模增加的問題，這個問題其實有點兒像某著名大學的化學系教授按比例放大實驗室的實驗給化工廠釀成事故，被隔壁大學的化工系當作反面教材一樣，看似簡單但有很多實際問題需要考慮，路由器有很多復雜度是交換機沒有經(jīng)歷過的。

首先路由器要支持L3VPN，而L3VPN的路由是百萬級別的，因而要在系統(tǒng)層面綜合考慮數(shù)據(jù)平面的速率，BGP loading time、BGP路由的收斂及IGP路由變化對BGP路由收斂的影響。L3VPN的路由處理也就不再能用像交換機那樣所見及所得的處理方式，L3VPN的路由轉(zhuǎn)發(fā)鏈的設計會根據(jù)交換芯片ASIC的能力而有所不同，特別是L3VPN的VPN信息存儲及處理，需要在SAI層面做適當?shù)某橄螅瑥亩苊饪刂破矫娓兄粨Q芯片ASIC的不同，這個抽象同時也不能綁定某個供應商的特殊處理，但又需要有前瞻性，符合交換芯片ASIC的演進道路。

其次由于L3VPN的路由是百萬級別的，BGP路徑的規(guī)模要到千萬級別，因而對于軟件內(nèi)存的管理優(yōu)化變得非常重要，F(xiàn)RR的協(xié)議棧在之前并沒有這種優(yōu)化需求，寫代碼時對內(nèi)存的使用也比較隨意。阿里云目前和社區(qū)在緊密合作，共同優(yōu)化FRR BGP的代碼，從而把FRR BGP從交換機級別的支持提升到路由器級別的支持。

另外需要對FRR BGP增加一些路由器必需的功能，如BGP advertise delay、BGP VRF leaking、BFD硬件卸載等，使得協(xié)議棧整體達到路由器可部署的級別而不是單一功能的演示。

最后由于交換機路由在千或者萬級規(guī)模，交換機對路由的卸載速率沒有要求，現(xiàn)有SONiC控制平面的路由下發(fā)通道并沒有優(yōu)化，這就需要AliNOS對控制平面做整體優(yōu)化，讓百萬級別的L3VPN路由可以高速卸載到芯片ASIC，從而得到較好的BGP loading time，BGP loading time一直是各路由器廠商比拼的性能指標之一。

阿里云計劃把這些在FRR及SONiC代碼的優(yōu)化改進在適當?shù)臅r候反饋回社區(qū)。

利用IPv6簡化網(wǎng)絡協(xié)議棧

上面的L3VPN的復雜度來自于在IPv4上做多租戶的VRF。在數(shù)據(jù)中心內(nèi)，我們也引進了VXLAN給overlay做多租戶，由于VXLAN的引進，我們又引進了BGP EVPN、OVS等協(xié)議，隨著協(xié)議的不斷引入，網(wǎng)絡的復雜度也日益增加，利用IPv6簡化網(wǎng)絡協(xié)議棧是阿里云網(wǎng)絡團隊定義下一代阿里云網(wǎng)絡架構(gòu)的一個基本出發(fā)點。

IPv6技術已經(jīng)存在了很長時間了，但網(wǎng)絡應用和網(wǎng)絡技術一直有著“雞生蛋，蛋生雞”的關系，因此在AliNOS上，我們不止要大力加強IPv6建設，還要加強對如何讓現(xiàn)有的IPv4應用平穩(wěn)過渡到IPv6的技術上做研發(fā)投入。只有把這個過渡期處理好了，我們才有可能實現(xiàn)利用IPv6簡化網(wǎng)絡協(xié)議棧，從而讓網(wǎng)絡變得像水管一樣，簡單、好用且可靠。

通過SRv6實現(xiàn)流量可控

在利用IPv6簡化網(wǎng)絡協(xié)議棧的同時，我們還需要加強對流量可控的手段。SRv6是2014年左右提出來的，隨著芯片技術的成熟及協(xié)議發(fā)展的完善，越來越多的用戶意識到SRv6將不再僅僅是一個網(wǎng)絡協(xié)議，它將是一種面向應用業(yè)務的對網(wǎng)絡編程的語言，SRv6協(xié)議開始被采納，有人把SRv6的一些基本功能開發(fā)出來并貢獻給SONiC社區(qū)，但沒有人用SONiC的SRv6部署在生產(chǎn)網(wǎng)。阿里云開始在AliNOS里研發(fā)SRv6 VPN，并通過自研路由器在DCI部署這個技術，從而實現(xiàn)對于應用的流量調(diào)度。

SRv6 VPN的研發(fā)主要有三個部分：FRR里對于BGP協(xié)議的補充、SONiC的SWSS里對于SRv6 VPN的開發(fā)，以及SAI里增加SRv6 VPN相關的新的objects。由于SRv6 VPN是在阿里云生產(chǎn)網(wǎng)里部署的，AliNOS又增加了一些部署時必需的優(yōu)化改進。阿里云基礎網(wǎng)絡團隊計劃把SRv6 VPN的研發(fā)成果及部署相關的改進上傳至SONiC的后續(xù)版本中。

這個應用也在Linux Foundation的Open Network & Edge大會上做了交流，得到了業(yè)界很多很好的反饋，若干云廠商已經(jīng)計劃在阿里云上傳代碼到SONiC社區(qū)后，開始在它們的網(wǎng)絡里部署SRv6 for SONiC技術。我們可以預期在不久的將來，SRv6將成為一個事實標準被各云廠商所采用。

端網(wǎng)融合可預期網(wǎng)絡

云計算重新定義的網(wǎng)絡系統(tǒng)，是基于計算和網(wǎng)絡的協(xié)同設計。近幾年DPU的蓬勃發(fā)展，讓服務器里的智能網(wǎng)卡或DPU也更多地參與到了網(wǎng)絡里來。

AliNOS的應用范圍從網(wǎng)絡設備伸展到了網(wǎng)絡邊緣設備或DPU的SOC。隨著網(wǎng)絡邊界的延伸，許多問題可以通過端網(wǎng)融合的方式得到更好的解決，如傳統(tǒng)多打一擁塞的解決點在TOR或者SMART NIC上，但因為不了解服務器PCIe端的信息，不少設備廠商還提出了Smart Pipeline、Smart TOR的概念，由于沒有端的信息，很多方案只能隔山打牛，費力不討好。隨著DPU的引入，網(wǎng)絡可以開始感知到服務器PCIe端及其他更多的信息，很多問題可以利用這些新信息重新思考了。

SONiC社區(qū)也成立了DASH工作組（Disaggregated API for SONiC Hosts）來協(xié)調(diào)這個方向的工作，阿里云基礎網(wǎng)絡團隊也有不少同學參與了DASH的討論。

AliNOS作為一個端到端，各種網(wǎng)絡設備的統(tǒng)一平臺，可以通過telemetry讓計算能夠感知到整個網(wǎng)絡的狀態(tài)，一個實時的狀態(tài)。AliNOS還可以通過SRv6、HPCC高性能流控算法、uFAB新型架構(gòu)及Solar多路徑等硬核技術與計算協(xié)同設計，讓整個網(wǎng)絡變成計算的編程平臺，可以任意調(diào)度所需資源，并實現(xiàn)帶寬和延遲(尤其是長尾延遲)的保證。

端網(wǎng)融合可預期網(wǎng)絡的核心思想是讓網(wǎng)絡更加透明，讓端側(cè)(計算/存儲等應用)更加方便靈活地利用網(wǎng)絡信息進行資源調(diào)度。這種透明度使業(yè)務可以充分利用CLOS無擁塞拓撲、Path規(guī)劃與調(diào)度，從而為業(yè)務提供更加高效的網(wǎng)絡帶寬資源。業(yè)務也可以通過對CLOS架構(gòu)拓撲全透明感知，分布會話更合理，從而最小化單鏈路故障影響域，實現(xiàn)業(yè)務高穩(wěn)定網(wǎng)絡，在出現(xiàn)單點故障時，業(yè)務可以進行有序遷移，100%成功率切換，保證了故障場景下依然滿足極致低長尾時延。

05

展望

阿里云基礎網(wǎng)絡團隊的工作理念是“求真務實，簡單開放”，AliNOS的研發(fā)也是本著這個信念進行的，從數(shù)據(jù)中心網(wǎng)絡拓展到了廣域網(wǎng)、邊緣網(wǎng)及DPU，AliNOS將遇到不少新的挑戰(zhàn)，這些新的挑戰(zhàn)也是動力，激勵阿里云基礎網(wǎng)絡團隊繼續(xù)做好AliNOS，讓AliNOS成為建設端網(wǎng)融合可預期網(wǎng)絡的基石。我們也希望通過和開源社區(qū)的合作交流，讓我們的網(wǎng)絡更加簡單開放，我們的工作更加求真務實，推動全球云網(wǎng)絡的共同發(fā)展。

審核編輯：劉清