根據(jù)ColocationAmerica發(fā)布的數(shù)據(jù)，2020年全球數(shù)據(jù)中心單機(jī)柜平均功率將達(dá)到16.5kW，較之于2008年已經(jīng)增長了175%。賽迪顧問預(yù)測，隨著數(shù)據(jù)中心算力飛速提升，高功率單機(jī)柜將迅速普及，預(yù)計(jì)2025年，全球數(shù)據(jù)中心單機(jī)柜平均功率有望達(dá)到25kW。

1.“液冷數(shù)據(jù)中心”來襲，可幫您省億元電費(fèi)！

2.21年7月27日，北京市發(fā)展和改革委員會(huì)官網(wǎng)發(fā)布《關(guān)于印發(fā)進(jìn)一步加強(qiáng)數(shù)據(jù)中心項(xiàng)目節(jié)能審查若干規(guī)定的通知》（以下簡稱：通知）。通知顯示，即日起北京市內(nèi)新建、擴(kuò)建數(shù)據(jù)中心若PUE值（評價(jià)源效率指標(biāo)，理想值為1）超1.4，將被征收差別電價(jià)電費(fèi)。伴隨新規(guī)定出臺，能耗大戶“數(shù)據(jù)中心”正迎來一場技術(shù)變革。

該規(guī)定意味擴(kuò)建、新建PUE不達(dá)標(biāo)數(shù)據(jù)中心，每年將付出數(shù)千萬、乃至上億元額外電費(fèi)。這將促使，城市內(nèi)數(shù)據(jù)中心加速步入綠色、液冷時(shí)代。

1.1 PUE超標(biāo)將多繳億元電費(fèi)

通知顯示，北京市將進(jìn)一步加強(qiáng)市范圍內(nèi)數(shù)據(jù)中心項(xiàng)目的節(jié)能審查，對于PUE>1.4且<=1.8的項(xiàng)目執(zhí)行的電價(jià)加價(jià)標(biāo)準(zhǔn)為每度電加價(jià)0.2元；對于PUE>1.8的項(xiàng)目每度電加價(jià)0.5元。

此外，北京市內(nèi)擴(kuò)建數(shù)據(jù)中心，年能源消費(fèi)量大于等于2萬噸標(biāo)準(zhǔn)煤且小于3萬噸標(biāo)準(zhǔn)煤的項(xiàng)目，PUE值不應(yīng)高于1.2；年能源消費(fèi)量大于等于3萬噸標(biāo)準(zhǔn)煤的項(xiàng)目，PUE值不應(yīng)高于1.15。

以新建3000個(gè)標(biāo)準(zhǔn)機(jī)柜，單機(jī)柜平均功耗為18kW的中型數(shù)據(jù)中心為例。按北京市新規(guī)，其PUE值若超過1.4小于1.8，一年將支付差別電價(jià)電費(fèi)9460萬元，若PUE值超過1.8則將支付差別電價(jià)電費(fèi)2.36億元。

對目前的數(shù)據(jù)中心運(yùn)營企業(yè)和單位來說，支付這些額外費(fèi)用是難以承受的。而北京、深圳的數(shù)據(jù)中心規(guī)范和標(biāo)準(zhǔn)，對全國城市具有較強(qiáng)的示范作用。此外PUE值要低于1.4，數(shù)據(jù)中心的傳統(tǒng)風(fēng)冷散熱技術(shù)已難以滿足。

1.2 降PUE遇“風(fēng)冷”瓶頸

伴隨IT產(chǎn)業(yè)的高速發(fā)展，數(shù)據(jù)中心正快速成為新能耗大戶。

據(jù)報(bào)道，2018年全國數(shù)據(jù)中心總耗電量1500億千瓦時(shí)，占社會(huì)總用電量的2％。預(yù)計(jì)到2025年，這一占比將增加一倍達(dá)到4.05％。

高能耗的背后是PUE值的居高不下，據(jù)報(bào)道截至2019年年底，全國超大型數(shù)據(jù)中心平均PUE為1.46，大型數(shù)據(jù)中心平均PUE為1.55。

冷卻計(jì)算設(shè)備耗能一直是導(dǎo)致高PUE值的直接原因，傳統(tǒng)數(shù)據(jù)中心風(fēng)冷模式，將使一半能耗用于冷卻計(jì)算設(shè)備，其PUE值普遍在1.4以上。

最為關(guān)鍵的，伴隨CPU等核心計(jì)算芯片的功耗升高，風(fēng)冷模式下單機(jī)柜功率密度最高只能到30kW左右。

雖然芯片工藝制程不斷進(jìn)步，但服務(wù)器端CPU、GPU功率已分別突破300W、400W大關(guān)。

伴隨人工智能等高密度計(jì)算場景增多，目前在運(yùn)行數(shù)據(jù)中心不少單機(jī)柜功率早已突破30kW。

2 液冷技術(shù)的必要性

在數(shù)據(jù)中心行業(yè)，評價(jià)能耗水平的關(guān)鍵指標(biāo)是電力使用效率（Power Usage Effectiveness），簡稱PUE，計(jì)算公式是：

PUE=總負(fù)載/IT負(fù)載

一個(gè)數(shù)據(jù)中心的PUE值越是接近1，則該數(shù)據(jù)中心的能耗則越低。但是因?yàn)閿?shù)據(jù)中心機(jī)房總是需要額外的能耗來維持運(yùn)轉(zhuǎn)，比如照明、冷卻和消防等等，那么這個(gè)數(shù)字就總是大于1。

降低PUE值是當(dāng)前數(shù)據(jù)中心需要解決的迫切問題。隨著數(shù)據(jù)中心的IT設(shè)備和供電系統(tǒng)的高度集成化，機(jī)房的散熱量也在逐步升高，故而有強(qiáng)大的制冷系統(tǒng)來保證機(jī)房的溫度維持在一個(gè)合理范圍內(nèi)是非常必要的。現(xiàn)在數(shù)據(jù)中心所消耗的電力僅有約1/3供給了IT負(fù)荷，而另外2/3則供給了散熱負(fù)荷。所以，降低IT設(shè)備的發(fā)熱量則可同時(shí)降低設(shè)備的散熱負(fù)荷，為數(shù)據(jù)中心節(jié)約大量電力，故而降低PUE值。

現(xiàn)在很多數(shù)據(jù)中心的設(shè)備的散熱采用的還是風(fēng)冷技術(shù)，即是用空調(diào)通過壓縮的冷風(fēng)把新鮮的冷風(fēng)持續(xù)灌入設(shè)備內(nèi)部，或通過IT設(shè)備上的風(fēng)扇來進(jìn)行散熱。然而，風(fēng)冷卻有高能耗、低性能、高噪音的問題。采用液冷技術(shù)則很好地彌補(bǔ)了風(fēng)冷技術(shù)的短板，實(shí)現(xiàn)了低耗能、低噪音、和全年自然冷卻的效果。

2.1 液冷技術(shù)原理

與風(fēng)冷技術(shù)通過風(fēng)扇和壓縮制冷不同，液冷技術(shù)是利用工作流體作為熱量傳輸?shù)拿浇椋瑢崃坑蔁釁^(qū)傳遞到遠(yuǎn)處再進(jìn)行冷卻。由于液體比空氣的比熱容高，散熱速度也遠(yuǎn)遠(yuǎn)快過空氣，因此液冷的制冷效率遠(yuǎn)高于風(fēng)冷，使數(shù)據(jù)中心的全年P(guān)UE值可下降到1.2以下。

液冷技術(shù)的制冷原理主要在于冷量傳輸?shù)耐緩讲町悾涿降娜珶釣轱@熱與潛熱之和。顯熱是液體在加熱或冷卻過程中，溫度升高或降低而所需吸收或放出的熱量時(shí)不發(fā)生相變；而潛熱則是為單位質(zhì)量的物質(zhì)在等溫等壓情況下，從一個(gè)相變化到另一個(gè)相（例如從液體變?yōu)闅怏w）時(shí)所吸收或放出的熱量。

與風(fēng)冷相比，液冷技術(shù)有三個(gè)優(yōu)勢：

·與風(fēng)冷那樣間接制冷不同，液冷技術(shù)允許冷卻劑直接導(dǎo)向熱源。

·與風(fēng)冷相比，因?yàn)橐后w比熱容較大，液冷的散熱效率比風(fēng)冷高1000-3000倍。

·液冷系統(tǒng)的噪音比風(fēng)冷系統(tǒng)小很多，既降低了噪音，同時(shí)也節(jié)省了風(fēng)扇和空調(diào)系統(tǒng)的電費(fèi)和耗能。

·服務(wù)器CPU在低溫下計(jì)算性能和可靠性可顯著提高，大大增加了CPU的運(yùn)算效率。

該技術(shù)可廣泛應(yīng)用于高功率高密度的數(shù)據(jù)中心中服務(wù)器的散熱，為數(shù)據(jù)中心的散熱問題提供一個(gè)優(yōu)異的解決方案。

2.2 液冷數(shù)據(jù)中心刻不容緩

根據(jù)行業(yè)研究，采用液冷方式可以很輕松把數(shù)據(jù)中心PUE做到1.1左右，如果單機(jī)柜功率密度達(dá)到20KW時(shí)候，采用液冷技術(shù)就可以節(jié)能。

3.液冷數(shù)據(jù)中心的優(yōu)勢

除此之外，液冷數(shù)據(jù)中心還具備以下特點(diǎn)：

地理和環(huán)境條件無關(guān)

無論決定將地點(diǎn)設(shè)于何處，均可在全球范圍內(nèi)部署冷卻基礎(chǔ)架構(gòu)更為一致的數(shù)據(jù)中心。

數(shù)據(jù)中心設(shè)計(jì)更簡單，擴(kuò)展也更高效

使用更小規(guī)模的數(shù)據(jù)中心和更簡單的數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)（例如，機(jī)械、電氣、網(wǎng)絡(luò)），可以更高效地?cái)U(kuò)展。消除對復(fù)雜氣流管理的需求，可以簡化數(shù)據(jù)中心的設(shè)計(jì)難度。

減少資本支出和運(yùn)營費(fèi)用

更大限度地減少或消除空冷基礎(chǔ)設(shè)施（例如冷水機(jī)組、CRAC、CRAH、PDU、RPP、電信/網(wǎng)絡(luò)設(shè)備、設(shè)施占地面積等），可以滿足新的工作負(fù)載需求，同時(shí)減少資本支出。隨著冷卻效率提高，輔助冷卻所需求的專用電力的成本就會(huì)降低。

降低用電效率指標(biāo)（PUE）和水資源的使用

當(dāng)用電效率指標(biāo)低至1.03時(shí)，可以構(gòu)建更具能效、更可持續(xù)的數(shù)據(jù)中心。另外，通過單相或兩相浸沒式液冷，并使用干式冷卻器，可以減少或消除水資源的浪費(fèi)。

3.1 液冷方式分類

噴淋式（冷媒接觸）

在機(jī)箱頂部儲液和開孔，根據(jù)發(fā)熱體位置和發(fā)熱量大小不同，讓冷卻液對發(fā)熱體進(jìn)行噴淋，達(dá)到設(shè)備冷卻的目的。噴淋的液體和被冷卻器件直接接觸，冷卻效率高；但液體在噴淋的過程中遇到高溫物體會(huì)有飄逸和蒸發(fā)現(xiàn)象，霧滴和氣體沿機(jī)箱孔洞縫隙散發(fā)到機(jī)箱外面，造成機(jī)房環(huán)境清潔度下降或?qū)ζ渌O(shè)備造成影響。

浸沒式（冷媒接觸）

單相浸沒式液冷（維持液態(tài)）在單相浸沒式液冷中，電子氟化液保持液體狀態(tài)。電子部件直接浸沒在電介質(zhì)液體中，液體置于密封但易于觸及的容器中，熱量從電子部件傳遞到液體中。通常使用循環(huán)泵將經(jīng)過加熱的電子氟化液流到熱交換器，在熱交換器中冷卻并循環(huán)回到容器中。

兩相浸沒式液冷（液態(tài)和氣態(tài)）

在兩相浸沒式液冷中，通過電子氟化液的沸騰及冷凝過程，指數(shù)級地提高液體的傳熱效率。電子部件直接浸沒在容器中的電介質(zhì)液體中，該容器密封但易于操作。在該容器內(nèi)，熱量從電子部件傳遞到液體中，并引起液體沸騰產(chǎn)生蒸汽。蒸汽在容器內(nèi)的熱交換器（冷凝器）上冷凝，將熱量傳遞給在數(shù)據(jù)中心中循環(huán)流動(dòng)的設(shè)施冷卻水。

冷板式（冷媒非接觸）

直抵芯片冷卻通過泵循環(huán)液體介質(zhì)經(jīng)過裝配到電子部件的冷板進(jìn)行散熱。液體不與電子設(shè)備直接接觸。盡管非電介質(zhì)液體（例如水/乙二醇）通常用于直抵芯片冷卻，但是電介質(zhì)電子氟化液也可用于直抵芯片應(yīng)用，減輕泄漏相關(guān)風(fēng)險(xiǎn)，提高硬件/IT設(shè)備可靠性。可以使用單相和兩相技術(shù)實(shí)現(xiàn)直抵芯片冷卻。

冷板式圖示一

冷板式圖示二

3.2 冷卻液分類

礦物油

礦物油也是一種物美價(jià)廉的冷卻液。單相礦物油無毒無味不易揮發(fā)，粘性較高，容易在設(shè)備表面形成殘留。雖然燃點(diǎn)較高，但是在某些特定條件下還是有燃燒的可能。

氟化液

最大的特點(diǎn)是絕緣，且不燃。在數(shù)據(jù)中心液冷技術(shù)中是最安全的一種，目前應(yīng)用最廣泛，但是價(jià)格高昂。

4 易飛揚(yáng)液冷光模塊

2020年7月，易飛揚(yáng)宣布完成對于液冷光模塊的技術(shù)研究。該研究成果適用于易飛揚(yáng)研發(fā)的所有數(shù)據(jù)中心和5G BBU光模塊產(chǎn)品，可以為客戶的液冷數(shù)據(jù)中心提供高可靠性和高性價(jià)的光互連解決。

4.1 以易飛揚(yáng)25G液冷光模塊為例

（1）內(nèi)部結(jié)構(gòu)

（2）針對性仿真

·除金手指外，其他部分的SI性能都很好。

·受限于金手指長度寬度及疊層，金手指的SI性能不是很好，但基本可以滿足需求。

1.MPD無架高塊 vs MPD有架高塊(100um)

2.MPD有架高塊(500um) vs MPD有架高塊(100um)

總結(jié)：

·MPD無架高塊 vs MPD有架高塊(100um)：MPD有架高塊(100um)的回?fù)p、插損和阻抗匹配都更好一些。

·MPD有架高塊(500um) vs MPD有架高塊(100um)：兩者的回?fù)p、插損和阻抗匹配都相接近。

建議：

·MPD有架高塊采用100um高度

·金線位置阻抗高，可以打4根金線（需評估空間）

·COC差分對阻抗偏高(約54.3ohm)，可以考慮加寬線寬

（3）驗(yàn)證

常見的用來驗(yàn)證的冷卻液有兩種：3M氟化液和硅油，它們有以下特點(diǎn)：

·3M氟化液：1-甲氧基-九氟代丁烷，C4F9OCH3，不易燃，價(jià)格貴

·硅油：聚二甲基硅氧烷，粘性高，有一定可燃性

實(shí)驗(yàn)標(biāo)準(zhǔn)：液冷光模塊實(shí)驗(yàn)室環(huán)境下沉浸累計(jì)6個(gè)月性能無突變。

通過72小時(shí)0.5公斤冷卻液加壓（提升冷卻液流動(dòng)性）和冷卻液溫度在50℃帶電等測試，證明產(chǎn)品可靠性高，保障業(yè)務(wù)長期穩(wěn)定。

4.2 易飛揚(yáng)液冷產(chǎn)品優(yōu)勢

具備以上關(guān)鍵技術(shù)及通過測試驗(yàn)證的易飛揚(yáng)浸沒式液冷光模塊，主要實(shí)現(xiàn)如下優(yōu)點(diǎn)：

·支持直接浸沒式或者噴淋式液冷散熱方式。

·優(yōu)化的光器件密封設(shè)計(jì)，能有效的防止冷卻液進(jìn)入光路中，從而避免了溶液對光路的影響。

·通過72小時(shí)0.5公斤冷卻液加壓測試（提升冷卻液流動(dòng)性），證明產(chǎn)品可靠性高，保障業(yè)務(wù)長期穩(wěn)定。

·液冷環(huán)境的溫度范圍滿足10-55℃，在冷卻液中的工作深度滿足大于1m。光模塊物料選材滿足液冷的長期兼容性要求。

4.3 易飛揚(yáng)液冷光模塊的產(chǎn)品線

具備以上關(guān)鍵技術(shù)及通過測試驗(yàn)證的易飛揚(yáng)浸沒式液冷光模塊，主要實(shí)現(xiàn)如下優(yōu)點(diǎn)：

·支持直接浸沒式或者噴淋式液冷散熱方式。

·優(yōu)化的光器件密封設(shè)計(jì)，能有效的防止冷卻液進(jìn)入光路中，從而避免了溶液對光路的影響。

·通過72小時(shí)0.5公斤冷卻液加壓測試（提升冷卻液流動(dòng)性），證明產(chǎn)品可靠性高，保障業(yè)務(wù)長期穩(wěn)定。

·液冷環(huán)境的溫度范圍滿足10-55℃，在冷卻液中的工作深度滿足大于1m。光模塊物料選材滿足液冷的長期兼容性要求。

4.3 易飛揚(yáng)液冷光模塊的產(chǎn)品線

審核編輯：郭婷