深度學習 | 東數西算| 液冷散熱

數據挖掘 | 數據分析| 高性能計算

隨著深度學習、東數西算、醫藥研發、數據分析、數據挖掘、遙感測繪、高性能計算等技術的快速發展，數據中心的創建與日俱增，傳統的風冷散熱方式已經不同滿足數據中心散熱的需求，冷板式液冷散熱逐漸出現在人們的視線中。

注：由于篇幅有限需要更多詳細資料，請在公眾號末尾留下您的郵箱，小編會將PDF文件發您郵箱，共同進步。

氣候變化正給人類生產生活帶來日益嚴峻的挑戰。為在促進經濟繁榮的同時保護地球，聯合國制定了2030可持續發展目標，將降低能源碳強度，采取緊急行動應對氣候變化及其影響作為重要內容，推動全球各國提供更多資源和更明智的解決方案。2021年底發布的《第五屆聯合國環境大會續會的部長級宣言草案》再次強調，推動綠色轉型，減少碳和非碳溫室氣體排放，實現可持續發展目標。

中國高度重視落實聯合國 2030 年可持續發展議程，并基于推動實現可持續發展的內在要求，將生態文明建設明確為國家戰略，宣布了“碳達峰”和“碳中和”目標，讓綠色低碳成為各行業轉型升級和實現高質量發展的重要方向。在全球落實可持續發展行動，中國積極推進生態文明建設的進程中，5G、人工智能、物聯網等新技術的快速普及應用，在為各行各業高質量發展提供前所未有新動能的同時，也讓作為新型基礎設施的數據中心規模不斷擴大，能耗持續高速增長。據相關估算，全國各類型數據中心用電量總和已約占全社會用電量的1.5%-2%左右，且機柜規模仍保持高速增長態勢。參照美國勞倫斯伯克利實驗室對美國數據中心產業發展相關研究估算，在不采取相關措施的情況下，數據中心總用電量有可能翻倍甚至更高。

面對不斷增長的能源消耗與經濟社會可持續發展的雙重壓力，加速數據中心運營模式的綠色轉型成為當務之急。2021年5月，國家發改委等四部委聯合發布《全國一體化大數據中心協同創新體系算力樞紐實施方案》，將綠色低碳列為基本原則，強調通過創新技術全面提高其能源利用效率；同年7月，工信部印發《新型數據中心發展三年行動計劃（2021-2023年）》,明確提出新建大型及以上數據中心電能利用效率（Power UsageEffffectiveness，PUE）降低到1.3以下。2022年1月，國務院印發“十四五”數字經濟發展規劃，隨后國家發展改革委會同相關部門推進“東數西算”工程實施，強化數據中心綠色發展要求，強調大型、超大型數據中心PUE降到1.3以下，并在給多個算力網絡國家樞紐節點啟動的復函中，都將PUE指標控制在1.25以內。

在政策拉動以及數據中心降本增效等自身需求的驅動下，整個 ICT 產業積極采用創新技術和模式，圍繞降低PUE這一關鍵指標，通過推進基礎設施智能化、創新和采用制冷散熱技術，以及提升能效與供電密度等系統化措施和多元化的技術與解決方案，綜合性地創新數據中心高效節能體系，推動數據中心全生命周期降耗增效。

深度學習冷板式液冷解決方案

眾冷板液冷生態伙伴以“創造改變世界的技術，改善地球上每個人的生活”為宏旨，在不遺余力地通過將可持續納入產品設計、生產、使用全生命周期，系統化減少碳足跡的同時，聚力攜手更廣泛的產業伙伴開放創新，基于在數據中心可持續發展上構建起的完備解決方案矩陣，重點聚焦的數據中心機架電源設計、先進冷卻技術和數據中心智能節能三個垂直領域，充分應用芯片、服務器、機架、數據中心四個水平方向的技術方案和豐富案例，繼續深入實踐，全方位、立體化推動數據中心不斷實現能效優化和低碳轉型。同時，還將繼續與各界伙伴協同推進數據中心功率密度演進、液冷技術應用與設計等標準和規范建設，助力構建長效機制，引導數據中心加速邁向高效、清潔、集約、循環的綠色發展新紀元。

由英特爾推出的《綠色數據中心創新實踐——冷板液冷系統設計參考》是產業生態伙伴緊密合作、聯合創新的重要成果之一，內容涵蓋液冷一次側及二次側整個鏈路的設計，旨在與冷板液冷生態伙伴及潛在使用者分享對于冷板液冷技術關鍵部件設計選型的考量，其付梓發布也是要通過面向更廣泛的產業伙伴展現冷板液冷技術關鍵部件的研究進展，來共同促其標準化，進而降低其設計與使用成本，推動建立并完善冷板液冷的生態系統，為推進數據中心行業加速脫碳轉型，并以此支持各行各業實現低碳發展，共同為中國實現碳達峰、碳中和目標而做出新的貢獻。

本文對參與冷板散熱系統設計、驗證、管路的連接組裝、系統的檢測及維護人員均具有參考意義。

冷板式液冷整體鏈路圖

數據中心發展趨勢

隨著云計算、大數據、人工智能等新一代信息技術快速發展，數據呈現爆炸式增長。作為儲存和計算基礎設施的數據中心加速建設是大勢所趨。

一、數據中心總體能耗不斷抬升

隨著數字經濟在人類活動中的占比逐漸增加，信息數據量激增，與之對應的數據分析、處理能力不斷提升，使得服務器的密度越來越高，導致數據中心產生熱量日益增多。據行業數據報告顯示，預計未來5年，其仍將以15%~20%的速率持續增長，也將使未來數據中心行業用電占社會總用電量的比率進一步提升。

作為“新基建”的引領行業，數據中心是以技術創新為驅動和信息網絡為基礎的高質量發展行業，在為社會和工業的數字轉型、智能升級、融合創新等服務提供基礎設施體系的同時，快速增加的能源消耗也帶來熱點地區局部能源的稀缺和地域之間的不均衡。在北上廣這些核心地區，很多潛在項目面臨有房無電的窘境。因此，作為單體能源消耗密度高的行業，數據中心必須以綠色低碳、節能減排來應對快速發展帶來的挑戰，才能實現健康可持續發展。

根據相關國家政策要求，在未來布局的算力樞紐 8 大節點中，東部數據中心PUE需要降低到1.25以下（包括華南地區），西部地區的數據中心PUE要求在1.2以下，且要求制冷系統采取新的解決方案。

二、功率密度隨需求不斷提高

近年來，數據中心單位空間產生熱量的瓦數正在不斷上升，同時功率密度也在增加，嚴重制約了傳統冷卻方法和技術的進一步應用和推廣。因此，液冷作為數據中心新興的制冷技術，逐漸被人們接納并應用。

Uptime Institute發布的《2020全球數據中心調查報告》顯示，2020年全球71%的數據中心平均功率密度低于10kW /機架，最常見是5~9kW /機架，平均單機架功率為8.4kW /機架，平均功率密度高于20kW /機架的數據中心約占16％。雖然整體功率密度相較于高性能計算（HPC）等領域還不算高，但總體上升趨勢明顯，相比于2017年的5.6kW /機架、2011年的2.4 kW /機架增長顯著。而且宏觀上看，數據中心未來的功率密度還將繼續上升。

造成這一趨勢的原因主要有兩個方面。一是從應用層面來看，計算密集型應用場景的激增，加上云業務廣為互聯網頭部企業采用，導致承載這些應用負載的服務器設備功耗大幅增加，進而使得數據中心設計功率密度呈現逐年增大的趨勢。另外一個原因來自IT硬件層面。為了滿足高算力負載需求，通過單機架疊加多核處理器提高計算密度，導致了IT硬件的處理器功耗顯著增加，也使得單機架功率密度越來越高。比如，從當前占據全球服務器CPU主要市場的英特爾?架構處理器看，英特爾?至強?可擴展處理器TDP（熱設計功耗）從2019年的205W上升了到達現在的270W，在2023年初將達到350W，提升近一倍。而這在提供強大算力的同時無疑也帶來散熱困擾，而解決了散熱瓶頸就意味著實現算力提升。

數據中心液冷散熱解決方案

采用風冷的數據中心通常可以解決 12kW 以內的機柜制冷。隨著服務器單位功耗增大，原先尺寸的普通服務器機柜可容納的服務器功率往往超過 15kW，相對于現有的風冷數據中心，這已經到了空氣對流散熱能力的天花板。而液冷技術作為一種散熱能力更強的技術，可以支持更高的功率密度。

一、液冷的優勢

1、滿足高功率密度機柜的散熱需求。液冷的高效制冷效果有效提升了服務器的使用效率和穩定性，同時可使數據中心在單位空間布置更多的服務器，提高數據中心使用效率；

2、循環系統耗能少，系統噪音小。使用高比熱的液體工質，冷卻工質循環能耗少，且液冷簡化了換熱流程，也減小了風冷末端在房間輸送冷風過程中受湍流影響所致的部分能量衰減的問題；

3、占地小，易于選址。使用液冷系統的數據中心相對于傳統的風冷數據中心更加簡單，去掉了龐大的末端空調系統，提高了建筑利用率，在小空間里也能布置足夠規模的服務器，應用場景更易布置，受地理位置影響較小，全國布局皆可實現低PUE運行；

4、降低 TCO，運營 PUE 較低，全年 PUE 可達到 1.2 以下。采用液冷散熱方案的數據中心PUE比采用風冷的常規冷凍水系統降低0.15以上，可讓有限的能源更多分配給算力，從而降低運行成本，增加算力產出；

5、余熱回收易實現。相比傳統水溫，使用液冷方案的水溫更高，溫差大，熱源品味和余熱系統效率高；

6、適應性強。冷板式液冷兼容性強，易配套開發，不需改變原有形態和設備材料；空間利用率高，可維護性強，布置條件與普通機房相近，可直接與原制冷系統（常規冷凍水系統）兼容適應。

基于冷板液冷解決方案的一次側系統

對于液冷二次側末端不同的水溫需求，液冷一次側冷源可采用機械制冷系統和自然冷卻系統。機械制冷系統包括風冷冷凍水系統和水冷冷凍水系統，可提供 12℃-18℃ 的中溫冷凍水；自然冷卻是在室外氣象條件允許的情況下，利用室外空氣的冷量而不需機械制冷的冷卻過程，自然冷卻系統可采用開式冷卻塔、閉式冷卻塔和干冷器等設備實現，可提供 30℃ 以上的冷卻水。液冷一次側冷源形式需結合二次側末端水溫需求和項目地室外環境情況確定。

一、機械制冷系統

1、風冷冷凍水系統

風冷冷凍水系統是冷凍水制備的一種方式，主要由風冷冷水機組、冷凍水泵及配套設施組成，其液態制冷劑在其蒸發器盤管內直接蒸發，實現對盤管外的冷凍水吸熱而制冷，并通過風冷的方式冷卻為液態。

風冷冷凍水系統不需要占用專門的機房且無需安裝冷卻塔及泵房，初期成本投入較低、運行方便，不需要專業人員維護，無冷卻水系統，具備節水和降低維護費用等優點。但風冷冷水機組一般裝在室外，運維環境相對較為惡劣，維護性及可靠性均不如水冷冷水機組，并且風冷機組在夏季高溫制冷效果較差，運行效率較低。

2、水冷冷凍水系統

水冷冷凍水系統是冷凍水制備的一種方式，主要由水冷冷水機組、冷凍水泵、冷卻水泵、冷卻塔及配套設施組成，其液態制冷劑在蒸發器盤管內直接蒸發，實現對盤管外的冷凍水吸熱而制冷，并通過水冷的方式冷卻為液態。

水冷冷凍水系統具有耗電量較低、全年制冷效果好、可靠性高和使用壽命長的優點。但其需要專用機房、冷卻塔、冷卻水泵、冷凍水泵等設備，初投資較大，并且需要循環水，水資源消耗大，且機組本體和冷卻設施需要維護，相較于風冷機組，其維護費用比較高。

二、自然冷卻系統

1、開式冷卻塔

開式冷卻塔經過將循環冷卻水直接噴淋到冷卻塔填料上，同時由風機帶動冷卻塔內氣流流動，通過室外空氣與冷卻水之間的熱質交換蒸發冷卻循環水，冷卻后的循環水在冷卻塔底部出水。開式冷卻塔中循環冷卻水與室外空氣存在熱質交換。

開式冷卻塔示意圖

開式冷卻塔初投資和運行成本均較低，占地面積較小，重量較輕，但其運行水質較差，易引起被冷卻換熱器結垢，適用于室外空氣品質較好的區域。另外，雖然可增設一級板式換熱器和冷卻水泵來避免核心換熱器結垢，但對應系統較為復雜，初投資提升。

2、閉式冷卻塔

閉式冷卻塔是將管式換熱器置于塔內，通過室外流通的空氣、噴淋水與管內的循環冷卻水進行熱交換而實現向大氣散熱的設備。閉式冷卻塔有內循環和外循環兩個系統，其內循環通過與被冷卻設備對接，構成一個封閉式系統，將系統熱量帶到冷卻塔，也即內循環水通過換熱盤管將熱量傳遞到大氣中；外循環由循環噴淋泵，布水系統、集水盤及管路組成，外循環水不與內循環水相接觸，只是通過冷卻塔內的換熱器吸收內循環水的熱量，然后通過和空氣直接接觸來散熱。

閉式冷卻塔示意圖

閉式冷卻塔的水質較好，被冷卻換熱器不易結垢，壽命長，應用在室外環境質量差且對循環水質要求高的場合優勢明顯；但閉式冷卻塔初投資和運行成本均較高，占地面積大，重量較重。

3、干冷器

干冷器即干式冷卻器，其工作過程沒有水的消耗，是通過管內走液體與管外走自然風來冷卻管內液體，降低管內液體溫度，達到冷卻的目的。干冷器中的載冷劑通常使用乙二醇溶液，需要根據項目地冬季極端溫度選取溶液濃度。

干冷器示意圖

干冷器沒有壓縮機，總體耗電量低，機組使用壽命長，初投資比風冷冷水系統和水冷冷水系統低，但其一般安裝在室外，運行環境相對惡劣，且在夏季炎熱散熱較差的區域，需配置水噴淋冷卻系統或濕簾系統增強換熱，導致占地面積增大。

三、一次側系統應用場景

在冷板式液冷系統中，發熱器件不直接接觸液體，而是通過與裝有液體的冷板直接接觸來散熱，或者由導熱部件將熱量傳導到冷板上，然后通過冷板內部液體循環帶走熱量。由于服務器芯片等發熱器件不用直接接觸液體，所以該方式對現有服務器芯片組件及附屬部件改動量較小，可操作性更強，成為目前成熟度最高、應用最廣泛的液冷散熱方案。

二次側相對穩定，通過冷卻液分配單元（CDU）及后面的系統架構進行配置。一次側可以考慮多種的使用條件和場景進行組合。按照制冷的方式，主要分成機械制冷和自然冷卻制冷，同時結合國內情況，進行劃分如下：

一次側和二次側供液溫度的參考值

一次側冷源有多種組成形式，需根據當地室外環境溫度（包括干球 / 濕球溫度）及液冷服務器的進液溫度，確定是否需要下調水溫；另外供水溫度應比室內露點溫度高出 2℃～3℃左右，以防結露。

1、方案一：冷水機組 + 冷卻塔（開式）+ 板換

在高熱高濕地區，機房環境溫度要求高，直接采用閉式冷塔 / 干冷器無法直接滿足供冷要求，需要輔助機械制冷裝置；冷源通常采用冷水機組 + 冷卻塔的聯合供冷的方式，此結構適應性強，效率高，但耗水量較大，不適合缺水的地區。

冷塔 + 水冷冷機 + 板換系統示意圖

系統根據室外溫度變化分成兩種模式：

模式一：室外溫度較低，無需冷機開啟，僅憑冷塔 + 板換即可滿足制冷要求。

模式二：冷塔出水水溫高于 CDU 需求，需要機械降溫補冷，形成冷塔 + 冷機的組合形式。

2、方案二：風冷冷水機組

風冷冷水機組將冷凝器、水泵、壓縮機等部件合成整體，且通常配置干冷器（免費冷源模塊），集成度高；但是無法利用水的蒸發潛熱，系統能效低，適合系統偏小環境以及缺水地區。

風冷冷水機組示意圖

使用模式與場景 1 相近，也具備兩種模式：

模式一：室外溫度較低，無需冷機開啟，僅憑免費冷源模塊即可滿足制冷要求。

模式二：免費冷源模塊無法滿足 CDU 的溫度要求，需要機械降溫補冷，則直接使用風冷冷機形式。

3、方案三：閉式冷卻塔 / 干冷器

對于當地氣溫全年較低，可采用閉式冷塔/干冷器直接供冷，全年無需機械制冷。

閉式冷卻塔/干冷器液冷系統示意圖

閉式冷塔和干冷器使用模式基本相同，閉式冷卻塔系統仍以蒸發散熱為主，可以輸出更低的溫度，循環系統水質較好，對于 CDU 或者其它換熱設備友好，只是耗水量大。干冷器體積較大，單機制冷量偏小，但容易布置，配置上濕膜，還可以部分使用蒸發冷卻。

該系統也分成兩種模式：

模式 1：干模式，無需通過水蒸發散熱。

模式 2：濕模式，系統需要通過噴水蒸發的潛熱帶走熱量，閉式冷卻塔此時和開式冷卻塔相同。干冷器通過進風口的濕膜初步降溫，再進行二次降溫。

4、方案四：開式冷卻塔

開式冷卻塔制冷模式與閉式冷卻塔完全相同，只是開式冷卻塔水路與大氣相通，水質較差。

開式冷卻塔冷卻示意圖

上述方案以液冷側需求為主要考量因素。冷板液冷機房在實際運轉過程中，液冷系統往往仍然需要配備少量空調使用，以滿足服務器中非液冷部件的散熱需求。

一次側冷源建議方案

二次側冷液冷板概述

二次側液體回路是指從冷量分配單元到機架，通過供回冷卻工質歧管和 IT 設備連接，然后再通過歧管返回冷量分配單元的設計。來自二次側冷卻回路的熱量通過冷量分配單元的板式熱交換器傳遞到一次側冷卻回路，最終排放到大氣中或被熱回收再利用。

隨著 IT 設備功率密度的增加，需要更高效的冷卻技術來滿足日益增長的算力需求。與傳統的風冷相比，液冷方案提供了更加高效的冷卻效率。而何時轉換到液冷取決于許多不同的因素，例如包括散熱性能需求、電力配備、PUE 要求、IT 設備密度、冷卻成本，以及將來的 IT 設備的性能需求和部署策略等等。另外，是改造現有設施還是重新建造新的數據中心機房, 也需納入 TCO 的考量范圍。

采用液體冷卻的一個直接原因是，傳統的風冷方案已經無法滿足 IT設備的散熱需求，故而需要新的方案提升冷卻能力。對于 CPU 和GPU 等高功耗元器件，究竟何時或在何種功率水平下需要液體冷卻，目前尚無通用指南，不能一概而論。但應注意的是，除了成本分析外，還需要了解液冷方案的一些設計考量，比如冷卻回路中的所有浸潤材料與所使用的冷卻工質相容并保持長期可靠性，使用的冷卻工質不能與任何其他冷卻工質混合使用等等。

液冷部件設計考量

一、冷卻工質

二次側冷卻回路中常用的冷卻工質包括水基冷卻工質和非水基冷卻工質。其選擇需要在滿足冷卻性能需求的同時，還應滿足二次側冷卻回路中所有浸潤材料的相容性和長期可靠性，并同時考慮IT設備及冷卻工質本身維護的便利性、使用預期壽命及液體的成本等綜合因素。

每種液冷冷卻工質都有不同的優點和缺點，下面表中有詳細介紹。水基冷卻工質具有良好的傳熱性能，其中的純水液通過維持超低電導率環境抑制浸潤材料的腐蝕和微生物的滋生；配方液通過緩蝕劑和殺生劑的添加劑降低浸潤材料的腐蝕風險和抑制細菌生長。但這些添加劑會降低水的熱傳導性能，也存在因消耗而失去作用的問題，所以需要研究對整體性能的潛在影響和品質監測方法。

水的另一個特性是常溫常壓下其冰點是 0°C。因此，需要考慮其工作環境溫度范圍以及是否滿足操作、運輸和儲存期間的要求，通常使用的防凍劑包括丙二醇和乙二醇。但隨著冷卻工質中丙二醇或乙二醇含量的增加，會造成冷卻工質粘滯系數過高，對熱性能造成部分衰減，同時水泵的揚程需要提高，導致水泵功耗提升。因此，了解操作溫度及儲存和運輸過程的溫度要求非常重要，不要添加太高比例的丙二醇或乙二醇，25% 及以上的丙二醇或乙二醇溶液，即具有一定的抑制液體中細菌生長的功能。另外，通常冷卻工質使用防凍劑首選丙二醇。丙二醇比乙二醇毒性小，在自然環境中分解速率也更快。少量的丙二醇甚至被用作食品工業的添加劑，具體優缺點見下表。

為了減低液冷系統在運輸過程中的腐蝕和污染的風險，IT 設備或機架可以預先充入合適的冷卻工質或惰性氣體加以保護。在系統現場裝配時，除了按照制造商提供的裝配操作流程，還應考慮在系統運行之前沖洗預充的液體及充分排除系統內部的氣體。此外，必須定期檢測液冷冷卻工質，尤其是配方液的品質以了解其成分變化。

非水冷卻工質主要是礦物油或合成油、介電液體和冷媒。礦物油或合成油類工質因其粘度、粘性和易吸濕水解等問題不作推薦；介電液體有單相和兩相兩類，沸點較高的液體通常用于單相冷卻，沸點較低的液體通常用于相變冷卻。介電液體的一個優點是，在發生潛在泄漏時，液體本身是電絕緣體（低導電率），一般不會造成 IT 設備的電子電路短路。介電液體通常密度更高，成本也比較貴，同時針對某些介電液體需要考慮全球變暖潛能值（GWP）的影響，這些因素必須在選擇冷卻工質時予以充分考慮。除介電液體外，冷媒也可用于兩相冷卻。冷媒具有相對較低的沸騰溫度，允許液體相變并蒸發，可以通過改變工作壓力來改變飽和溫度。

水基冷卻工質優缺點

防凍液優缺點

介電液體優缺點

冷媒優缺點

1、浸潤材料

浸潤材料是指其表面與冷卻工質直接接觸的材料，必須和冷卻工質之間具備相容性，以將冷卻回路中潛在的腐蝕風險和泄漏風險降至最低。因此，詳細了解所有冷卻部件和所使用的材料至關重要，需要和所有浸潤材料部件及液體供應商建立密切合作，確保材料的相容性。ASHRAE 提供的列表只是一個初步的建議，隨著新設計及新材料成分引入，它將繼續完善和更新。需要注意的是，該列表并不是對所述材料相容性的承諾，具體材料的選擇，仍然需要通過測試來確定。

2、過濾裝置

過濾裝置就是用于彌補冷卻工質品質和系統腐蝕可能帶來的風險的專門功能組件，用于防止因顆粒物、碎屑和細菌污染而引起的操作可靠性問題。顆粒物是微觀的，通常以微米為單位進行測量。

過濾裝置的主要作用是為了防止顆粒物積聚污染系統部件，尤其是在冷板液冷中，還與微通道冷板內的翅片陣列寬度、熱交換器板間隙寬度及快換接頭結構都有關。在這些地方，顆粒物污染可能導致堵、性能降低、泄漏或系統故障。過濾裝置的位置是系統設計者需要考慮的一個問題，過濾裝置工作會影響系統壓降，而良好的設計旨在盡可能地減少過濾器的壓降從而提高系統冷卻效率。可根據開式系統或密閉式系統選擇過濾裝置的精度。設計者應考慮維護的便利性，這包含計劃周期性的維護和計劃外的突發維護干預，使用冗余設計來保障液冷系統實現在線維護。

3、冷卻工質要求

冷板使用的冷卻工質應滿足如下要求，即冷卻工質應具有良好的熱力學性能，不同冷卻工質的物性參數參見中國國標 GB / T 15428-1995的附錄 A 及 YD / T 3982-2021 中第 4 章和第 6 章的要求。

4、冷卻工質選擇考量指標

冷卻工質液體具有不同的熱性能，在評估不同液體的熱性能時應對此予以重視。下表中顯示了液體評估時的重要參數。按照液冷裝置部署所在地的地理位置和氣候條件，這些參數需要綜合考慮。

冷卻工質液體熱性能參數

二、冷板的設計與驗證

冷板的選擇取決于散熱要求、成本要求、操作參數及使用的浸潤材料等因素。二次側冷卻回路中與冷卻工質接觸的所有部件所使用的材料必須要和冷卻工質的浸潤材料清單（WML）相符。根據需要被冷卻的元器件不同的溫度要求、冷卻工質參數，例如流速、溫度和傳熱特性，冷板設計復雜難度也不同。例如，常用的微通道冷板結構比較復雜，其中微通道主要是增加與液體接觸面積，以提高冷卻性能。而更簡化的冷板設計是帶有簡易內部流體通道的模塊。

隨著設計復雜性的增加，成本也隨之增加。因此，如果使用簡單的設計就可以滿足冷卻需求，那就不需要通過增加設計的復雜性，來獲得更高的冷卻性能。

冷板示意圖（分體式）

1、冷板設計考量指標

在設計冷板時，需要考慮不同的參數，這些參數如表 8 所示（通常使用熱界面材料（TIM）來增強需要冷卻的部件與冷板之間的傳熱性能，這里不展開討論）。同時，還需要考慮冷板與內部液體回路管道的物理連接。對于微通道冷板設計，也有一些重要參數，其中翅片之間的間距是確定過濾裝置孔目大小設計要求的一個重要參考參數，為避免污垢堵塞，建議液體中顆粒尺寸不大于 50μm。

冷板設計考量參數

2、冷板設計要求

冷板設計滿足如下要求：

應根據芯片的型號尺寸及電子信息設備的內部結構進行設計，以獲得更好的換熱效率；在滿足芯片整個使用周期內的殼溫要求下，盡可能優化流道設計，減小冷板模塊的流阻；

應保障滿足芯片插座的載荷要求及芯片對散熱器重量的要求；

應考慮配管位置、方向及液體進出口位置，避免與電子信息設備產生結構干涉；

冷板基板和流道宜采用銅或鋁合金材質，一個系統中不應有兩種電位差較大的金屬；

應考慮冷板的安裝及拆卸順序，滿足芯片的操作要求；

應滿足芯片的扣合力技術要求,及安裝/拆除后散熱器底面平面度的技術要求；

冷板接口設計應考慮冷板最大允許壓力和安全余量，并考慮拆裝冷板組件時可能產生的接口應力等問題；

如使用配方液冷卻工質，緩蝕劑配方必須與冷板選用材質相匹配，并兼顧整個系統的材質匹配問題；

冷卻工質的選用應考慮與二次側循環回路中所有直接接觸的固體表面材質間的相容性。

3、冷板熱性能要求

冷板熱性能應滿足如下要求：

冷板使用者應提供冷板入口處冷卻工質的溫度和流量條件；

待冷卻芯片的殼溫在整個使用期間不應超過芯片供應商規定的最大殼溫值；

二次側冷卻環路總的流阻需要適配冷量分配單元循環泵工作點揚程能力；

系統總的流阻容量選擇以及待冷卻芯片的殼溫需要考慮一定的冗余，流阻容量的冗余宜不小于 10%，殼溫冗余宜不小于 3℃，以便滿足系統的容差需求；

冷板設計者宜提供冷板使用的熱邊界條件曲線，即入口處冷卻工質溫度與流經冷板的冷卻工質流量之間的依存關系。圖中給出了冷板設計的熱邊界條件曲線。當冷板使用邊界條件（入口流量及入口溫度）位于曲線下方（含曲線）的任一邊界條件（冷板入口處冷卻工質的溫度及其流量）時，該冷板的冷卻能力即可滿足待冷卻芯片的最大殼溫要求?？赏瑫r參考冷板熱阻與冷板流阻曲線示意圖；

冷板入口處冷卻工質流速不宜高于 1.5m/s，冷卻工質供回液溫差宜控制在 5℃-10℃ 范圍內。

冷板設計熱邊界條件曲線

4、冷板熱性能測試

將冷板鎖固在待測芯片上，冷板的液體進出口與熱性能測試系統相連，同時確保測試環路中非凝性氣體排空，并將流經冷板的液體流量調節到期望值，給待測芯片施加期望的功耗；待測試結果穩定后，記錄冷板進出口的壓力值、待測芯片的殼溫、冷板入口液體溫度、給待測芯片施加的功耗值，以及流經冷板的液體流量值。依據測試結果，分別依據式（1）和式（2）計算冷板在一定的流量范圍內的熱阻值和流阻值，繪出冷板的熱性能曲線和流阻曲線。

R=（Tc - TL） ? Q ………………………………(1)

R——冷板熱阻，單位為（℃/W）

Tc——待冷卻芯片的殼溫，單位為（℃）

TL——冷板入口液體溫度，單位為（℃）

Q——施加在芯片上的功耗值，單位為（W）

ΔP=P1 - P2………………………………………（2）

ΔP——流經冷板的流阻值，單位為（KPa）

P1——冷板進口的壓力值，單位為（KPa）

P2——冷板出口的壓力值，單位為（KPa）

在用戶期望的冷板使用邊界條件下（給定的 TL 和 Q），測得的冷板所能支持的殼溫值，在考慮標準差和冷板生命周期內熱性能衰減之后不能高于芯片的最大殼溫。

冷板熱性能和流阻曲線

三、冷量分配單元及冷卻性能

冷量分配單元（CDU）是一種用于在液體回路之間進行熱交換的裝置。CDU 組件包括接口、泵、液-液或風-液熱交換器、儲液罐、閥門、控制裝置、監控裝置、過濾器及各種傳感器，主要用于制冷量、流量、壓力及溫度的測量和控制。CDU 使用的各種組件材料必須要和所用冷卻工質進行匹配測試驗證，確保其相容性。

CDU 將二次側流體回路與一次側回路隔離，提供二次側流體回路和一次側流體回路之間的連接及熱交換，CDU 的功能還包括對壓力、流量、溫度、露點控制、水質潔凈度及泄漏監測。通過使用CDU 分離一次側和二次側回路，可降低潛在的泄漏（二次側回路中的液體量較小，壓力和流速較低）。在使用優化方面，通過 CDU 控制可以平衡由于溫度的要求、負載的不同及功耗優化造成的各 IT 設備間的差異。

CDU 支持的機架數量可以從單個機柜擴展到組合機架的組或集群，液體通過安裝在機架中帶接頭的專門管道供回液歧管分配。CDU 的大小和參數設置取決所有 IT 設備集群產生的熱負荷。當然各個功率水平因組件而異，確定熱負荷的大小需要考慮到未來有可能引入新技術時需要的熱冗余。此外，冷卻工質的性質和特性（如導熱系數、粘度、比熱和密度）也會影響冷卻能力和泵的工作功耗。

冷量分配單元熱交換原理示意圖

1、冷量分配單元的考量指標

在選擇 CDU 時，有些參數需要考量，其中一些參數如表 9 所示。另外，需要和 CDU 的供應商確認，所有用于 CDU 部件的浸潤材料必須和冷卻工質材料相容。

冷量分配單元（CDU）考量參數

2、冷量分配單元冷卻性能

CDU 的換熱器冷卻能力取決于其趨近溫度特性。趨近溫度是冷卻工質在 IT 設備入口處的溫度減去一次側冷卻水在 CDU 入口處的溫度。除了趨近溫度之外，在考慮 CDU 的散熱及機械性能時，還有其他因素需要考慮。其關鍵參數包括：

趨近溫度（宜選用（3-10）°C）

液體成分（例如：純水、25%PG、55%PG）

一次側流量、二次側流量和泵功率和揚程

一次側用水溫度等級（例如：W27、W32、W45、W+ 等等）

由于沒有一套標準化參數用于不同 CDU 之間的性能比較，建議每個客戶與各自的 CDU 供應商合作，依據實際操作條件，評估所考慮的 CDU 能否滿足散熱要求。例如，可以讓供應商提供 CDU 在特定液體操作下，在一次側和二次側不同流量的對應關系、CDU 的排熱能力及趨近溫度等。

3、冷量分配單元一次側冷卻系統

室外冷源：

參考《GB 50019 - 2015 工業建筑供暖通風與空氣調節設計規范》，CDU 一次側冷卻室外機在采用蒸發冷卻時，可以將供水溫度逼近室外濕球溫度。因此，在不使用制冷機組的情況下，CDU 一次側最低供水溫度主要由項目所在地的夏季空調室外計算濕球溫度確定（可參考 ASHRAE 各地環境以及十年極端天氣）。

參考《Liquid Cooling Guidelines for Datacom Equipment Centers》，開式冷卻塔循環水與外界空氣直接接觸，需要排放廢水。且水中雜質顆粒物較多，需要防止結垢。為保證制冷效果與穩定性，CDU 一次側冷卻設備不推薦使用開式冷卻塔，建議采用閉式冷卻塔或者干冷器。

一次側管材：

參考 ASHRAE《Liquid Cooling Guidelines for Datacom EquipmentCenters》，一次側回路水管材質可以考慮：

銅合金：122、220、230、314、360、377、521、706、836、952；

聚合物 / 彈性體：丙烯腈丁二烯橡膠（NBR）、乙丙二烯單體（EPDM）、

聚四氟乙烯（PTFE）；

不銹鋼：300 系列、400 系列、碳鋼。

水質要求：

CDU 一次側循環水水質的好壞直接影響 CDU 的換熱效率以及使用壽命。為支撐液冷系統長期穩定運行，CDU 一次側閉式循環水系統水質可以參考 GB/T 29044-2012《采暖空調系統水質》中集中空調間接供冷閉式循環冷卻水系統標準。

GB / T 29044-2012《采暖空調系統水質》中集中空調間接供冷閉式循環冷卻水系統標準

同時，可參考 ASHRAE_TC.9.9_ Water-Cooled Servers CommonDesigns, Components, and Processes_2019

ASHRAE 一次側循環水要求

4、液冷群控系統

液冷群控系統負責室外冷源、液冷 CDU、一次側循環水泵、補水、水質監測、漏液告警等，通過群控系統實現組網運行、節能控制，具備主備、輪詢、冗余配置、故障切換以及供冷連續性功能。在群控模式下，主控制器根據機房實際負載情況，對液冷機組進行加減機和降頻控制和巡檢告警等。

四、機架式冷卻工質供回液歧管設計考量

機架供回液歧管是二次側回路中的一個關鍵部件，用于分配流入或流出機架內 IT 設備的冷卻工質。在使用機架式 CDU 的液冷部署中，歧管可以與 IT 設備和機架式 CDU 直接構成完整的閉式循環回路。歧管結構的特點是沿著管的方向有一系列形成液體回路的快換接頭連接著 IT 設備，連接接頭有盲插、手動連接、螺紋連接等多種類型。接頭的直徑和歧管尺寸的選擇需要滿足當前和未來液體流量及操作性能要求，以及 IT 設備內的液體流動拓撲結構和冷板數量需求。為了有效利用空間，冷卻工質歧管位置應位于機架占地面積內。

歧管的位置通常在機架內后部，也可以根據IT設備的部署及配電設計要求，放置在機架的前面或側面。供回液歧管位置的選擇需要確保滿足快換接頭、電源接口、網絡和其他 I/O 的操作要求，包括 IT 設備運行的電纜和軟管的管理，需要方便 IT 設備的接入和斷開。供回液歧管為二次側液體回路提供了一個重要的連接點，液體回路的布局可能會有所不同（此處不詳細討論），供回液歧管與液冷系統管網的連接點可以在機架的底部或頂部，但因連接位置點泄漏風險相對較大，在底部泄漏后滴落在地板上風險更低,所以建議連接點設置在機架底部。

二次側回路的連接部件包括能夠保持二次側操作壓力的管道和快換接頭，同時，快換接頭需要滿足爆破壓力的要求工質（見第七章壓力安規）。典型的數據中心預期使用壽命是 10-20 年，除快換接頭外，由于歧管的部分結構壽命限制，可能需要對供回液歧管進行維修、維護和升級，還應顧及供回液歧管的裝配、調試和終身維護，因此需要仔細考慮歧管的設計和選擇。

機架式冷卻工質供回液歧管示意圖

1、冷卻工質供回液歧管考量指標

當評估不同的歧管設計方案時，需要考慮不同的參數以滿足歧管各支路流量分配的均勻性，以及歧管提供流量與需求流量的匹配性。其中一些參數如下表 所示。

冷卻工質供回液歧管考量參數

2、冷卻工質供回液歧管參考設計要求

任何歧管的參考設計都需要滿足表中列出的最低運行條件，以確保其能夠正常工作，同時在世界上絕大多數地方運輸過程中不會出現問題。

冷卻工質供回液歧管參考設計要求

五、冷板式液冷回路中循環泵的選擇

泵是向其它系統重要部件提供液體流量的核心。泵的選擇是系統設計最重要的一環，在設計液冷解決方案的早期階段就需要考慮。為了使冷卻工質與泵相匹配，泵的形態及制造材料有多種選擇。出于維護和降低故障的目的，還可能會采用雙泵配置的冗余設計，無論是串聯配置還是并聯配置，管路的連接都需要考慮空間、布局、尺寸、材料相容性、維護方便性和連接類型。

泵由各種類型的電機驅動，在評估或優化裝置的能源效率時，需要考慮這一點。泵的安裝位置決定了其局限性和選擇標準。泵在二次側的位置的選擇有很大的差異性。具體來說，如果泵放在 IT 設備中，其高度需不高于IT 設備的機箱高度。IT 設備內的空間非常寶貴，泵的集成構成了服務器機箱布局的一部分。IT 設備供應商在設計液冷方案的時候需要管理機箱內冷卻工質的流量，使其和需被冷卻的電子元器件熱負載相匹配。

基于這一目的，泵可直接集成到冷板上，或以分離的形式提供循環動力和所需流量。作為一個好的系統設計，設計人員還需考慮壓降和效率。此外，還需滿足冷卻工質與泵內部材料和過濾裝置的材料相容性，以防污染顆粒堵塞泵并降低其工作效率，甚至導致故障。液體特性包括粘度，液體粘度的變化會改變泵的工作效率和壽命，選擇不當的泵可能會降低泵的壽命。

另一個考慮因素是工作環境，包括液體的特性和操作溫度，這將決定泵內使用的部件材料，因為冷卻工質將與泵內件直接接觸。泵的選型要求還取決于管道布局 / 設計、管道長度、彎管品質和材料選擇等參數，這些可能會導致液體和管壁摩擦并形成湍流，從而導致壓降增加。

1、泵的選擇考量指標

泵的選擇考量參數

六、快換接頭的選擇方法

在二次側流體回路中，快換接頭是保證服務器具備在線插拔維護性能的關鍵部件，決定了 IT 設備的可維護性和模塊化設計，但其會給液冷系統帶來額外的流阻，因此快換接頭選型應考慮其流阻特性和后續服務器升級的需求。

快換接頭是公 / 母配置（插頭 / 插座、插件 / 主體等）配對使用的。斷開時，集成在快換接頭內部的用于密封流體流動的自封閥芯會斷開流體的連接，以保護周圍設備不受影響，因此其選型必須嚴格限制每次斷開時冷卻工質的泄漏量；一般要求單次插拔泄漏量小于 1/6 液滴（連續插拔 6 次，允許一滴滴落）或小于 0.5 毫升，且建議使用液體泄漏量最小的快換接頭，此類接頭通常為無滴、無溢流或平齊斷面設計。

在使用手動插拔快換接頭連接的系統中，應考慮人體工程學問題（例如鎖緊機構、連接力、空間限制），確保易于維修。盲插設計通常還需要考慮安裝公差和不對中公差，設計可靠的盲插配合機構（如導向裝置）。快換接頭與二次側回路組件（機架液歧管、CDU、軟管等）的接口可以通過多種方式實現。對于軟管連接，椎管扣壓式或卡箍式結構提供了一種簡單可靠的連接方法；對于更剛性的連接，如機架液歧管組件，螺紋連接比較常見，應注意的是，螺紋連接應禁止使用生料帶和螺紋密封膠。SAEJ 1926或 G / BSPP ISO 1179 等 O 形圈連接堅固可靠，便于安裝和制造。

快換接頭示意圖

1、快換接頭考量指標

表中列出了選擇冷板式液冷快換接頭時需要考慮的參數。需要注意的是，工作壓力和爆破壓力不同，工作壓力可定義為正常工作條件下的最大系統壓力，爆破壓力表示部件發生災難性故障時的最小壓力。

快換接頭考量參數

*無法提供插拔力曲線的，至少應提供設計工況下的插拔力值，尤其在手動插拔設計中，插拔力必須滿足運維人員可手動插拔的要求。

七、二次側管路

二次側管路將 CDU 和末端服務器冷板相連，一般連接方式有直連和環形管路連接兩種。環形管路是二次側回路中的一個關鍵部件，用于連接 CDU 的二次側和機架歧管，實現冷卻工質均勻分配；環形管網包含供液環管、回液環管、CDU 支路、機架歧管支路、排氣裝置和排液口等，用以供液環管和回液環管分別形成環狀閉合回路，且提高環狀閉合回路系統的流量均勻性。另外，環形管網中無死端，液體一直處于流動狀態，不易變質。

每個 CDU 支路和機架支路上都安裝有閥門連接 CDU 和機架歧管，便于單個設備的維護。為確保局部管段檢修或發生故障時，其它管段能正常運行，不間斷供液，應采用閥門將環形管網分成若干獨立段，一般為相鄰機架管路段之間用閥門隔開，也可將多個機架管路隔開。

直連式示意圖

環形管路示意圖

環形管網一般布置在靜電地板下，管網上的閥門操作手柄應方便操作，不與機架底座或靜電地板立柱相干涉；環形管網段與段之間、支路與 CDU、機架歧管之間通過快裝卡盤或者法蘭連接。當管網較長時，應在某一段或某個連接處，采用軟連接和活套法蘭，采用軟連接吸收設計及加工時長度方向誤差，采用活套法蘭吸收法蘭焊接時的角度誤差。

環形管網的管徑選型根據 CDU 流量以及機架數量進行核算，支路管徑與 CDU 和機架歧管接口匹配。環形管網宜采用 304 或以上不銹鋼材料在工廠內預制完成，施工現場直接拼裝。不銹鋼管道焊接采用氬弧焊工藝，單面焊接，雙面成型。每一段管路都需無塵車間生產確保管內潔凈，以及封閉包裝發往現場，且出廠前都必須經過酸洗鈍化及超聲波清洗。

環形管網參考設計輸入

八、背板空調

背板空調負責液冷服務器風冷部分散熱，其由背板空調系統（外殼、風機、換熱盤管、控制器）、工質管道及閥件、配電系統及自控系統組成，用于保障機組實現最優性能和工藝設備等安全運行。背板空調與機架緊密結合，安裝在機架后門。背板空調常用工況送風溫度≤25℃，回風溫度35℃。

泄漏檢測與干預

減少泄漏的主要方法是采用穩健的泄漏預防策略。同時，在實際設備安裝操作中，需要制定完善的泄漏管理計劃，管理計劃包括泄漏檢測和干預，且需要滿足數據中心的設施運行要求。

在二次側冷卻回路中，需要在不同的存在泄漏風險的位置進行檢測，如CDU、機架、快換接頭、和/或計算節點，可采用間接檢測方法，可通過監測和分析現有硬件和傳感器的狀態，檢測并識別到管路中與泄漏特征匹配的微小壓降和/或流量變化。而直接檢測方法是在高風險區域部署專用泄漏檢測硬件。典型的直接檢測裝置為點探測器、薄膜檢測帶或泄漏檢測線纜，當其與泄漏的導電冷卻液接觸時會記錄并告警。為了進行可靠的泄漏檢測，其傳感器應放置在發生泄漏時冷卻工質與之直接接觸或有可能聚集后再接觸的區域，比如機架、CDU和/或二次側環路管道等設施的下方，以檢測二次側環路管路和機架之間和/或冷卻工質輸送過程中的潛在泄漏風險。

由于計算節點通常是 IT 設備中最昂貴的組件，且存在泄漏的導電冷卻工質可能造成設備損壞和數據丟失等風險，因此需要檢測計算節點附近的潛在泄漏，而且在檢測泄漏和快速定位發生泄漏的計算節點位置的同時，需要吸附、儲存和/或導流裝置，避免漏液與高價值設備接觸，爭取人工處理響應所需的時間。另外，增加用于確定泄漏位置的傳感器，會帶來成本相應增加。

泄漏有不同級別的干預方式，最低級別的干預是手動干預，即當發生泄漏時，會通知設施人員到現場處理，但人員響應時間周期內可能已造成損失。高級別的干預是自動電氣干預，即在發送泄漏事件的同時對IT設備進行數據存儲、關機和/或自動斷電。這可以降低暴露在泄漏/冷卻工質中的硬件損壞或數據丟失的概率，但需要考慮如何處理被泄漏的液體接觸但被挽救了的設備。還有一種更好的的方法是自動電氣和流體干預，也就是當檢測到泄漏通知時，IT設備斷電，同時冷卻液關閉。這可以更大限度地避免大量硬件設施暴露接觸到泄漏液體中，從而方便維修，減少損失。當然，泄漏自動干預會造成成本的增加，是否采用需要根據實際需求進行權衡。

泄漏檢測分類分為間接和直接兩種方式：

間接方式：通過使用現有的壓力、流量、溫度和氣泡等傳感器和算法，來確定泄漏；

直接方式：在特定位置（如上所述）使用泄漏繩/電纜、薄膜檢測帶等檢測作為傳感器，直接檢測漏液。

泄漏干預分類分為兩種方式：

手動干預：在檢測到泄漏后使用手動干預，例如，關閉流量控制閥并關閉IT設備；

自動干預：在檢測到泄漏后使用自動干預方法，例如，IT 設備斷電和/或冷卻液關閉。

壓力安規

液冷系統及其部件需要符合當地安全規范，也可參考國際電工委員會（IEC）針對 IT 設備的安全標準，即 IEC 60950-1和 IEC 62368-1。

IEC 62368-1《音頻/視頻，信息和通信技術設備第 1 部分：安全要求》第 3 版（2018 年）是新的安全標準，其要求冷板以正常工作壓力的3倍壓力進行爆破壓力測試，允許變形但不能泄漏；而在正常工作壓力下（例如：40psi） 液體不泄漏，冷板無變形。

總結

數字化和綠色低碳已經成為經濟社會高質量、可持續發展的關鍵推動力。中國“雙碳”目標的提出，更讓數字化與綠色低碳相互協同，加速推動數字基礎設施優化升級，推進千行百業更快速實現碳中轉型，也成為中國發展數字經濟，把握新一輪科技革命和產業變革新機遇，構建現代化經濟體系的重要引擎。英特爾植根中國，攜手生態伙伴積極行動，不斷協同推進技術創新，堅定不移實施責任戰略，助力中國加速實現“雙碳”目標。

《綠色數據中心創新實踐——冷板液冷系統設計參考》是在生態伙伴積極參與和大力支持下，應對IT設備功耗和功率密度的增加，需要新的冷卻技術來滿足不斷提高的計算性能需求，而共同探索和提出的更經濟、更高效的冷卻方案參考。本規范借鑒國際經驗，經大量實驗，系統闡述了冷板液冷系統設計相關的要求，以及未來液冷設計需要遵守的規范要求，可為數據中心液冷方案設計與研究提供路徑與借鑒。

就在本設計參考規范推出前不久，英特爾也發布了到 2040 年實現溫室氣體零排放的目標及里程碑。我們也希望籍此設計參考規范面世，進一步深化與產業伙伴的合作創新，繼續深入探討冷板液冷技術，不斷完善本規范，進而為推進IT設備、算力設施，尤其是作為數字經濟底座的數據中心進一步節能降耗，探討新方案、新途徑，為綠色新型基礎設施建設打造最佳實踐，并由此釋放整個產業生態和科技生態之力，為中國數字基建脫碳拓展更廣闊的道路，為數字經濟整體邁向“碳中和”奠定堅實基礎，并助力中國為全球可持續發展做出更大貢獻。

液冷應用案例

一、超聚變液冷解決方案

超聚變數字技術有限公司經過 10 年可靠性積累，170 余項可靠性測試，已經成功在國內外交付商用液冷服務器 10000+臺，商用案例有互聯網、高校、云數據中心、政企、超算、金融等。

超聚變打造整創新架構整機柜液冷服務器，整機柜使用機柜上走電下走水架構，原生液冷設計實現天然可靠性保障，支持 100%液冷散熱，PUE 達 1.10 以下，滿足國家政策要求，是東數西算最佳的液冷解決方案，整機柜支持高密部署，整機柜可支持 144 個 CPU，同時機房免冷機部署，機房空間利用率再提升20%；業界首創液、網、電三總線盲插，機柜內 0 線纜部署，支持機房向機器人運維演進，同時配套超聚變智能運維管理軟件業務上線效率提升 10 倍以上。通過架構創新和整機工程技術創新打造最佳的商用液冷方案，致力為客戶提供綠色節能算力，為東數西算主要樞紐節點提供優質方案。

在國內某液冷數據中心布署有超聚變上萬液冷節點，是全球最大液冷集群，TCO 降低 30%，交付效率提升 100%。

二、英特爾助力京東云打造冷板液冷解決方案

到 2025 年，重點工業行業能效全面提升，數據中心等重點領域能效明顯提升，綠色低球能源利用比例顯著是高，節能提效進一步成為綠色任碳的"等一能源"和降相成碳的首要舉措，新建大型超大型數挺中心電能利用效率(PUE)優于1.3。

1、數據中心能耗持續增長液冷散熱比風冷更具優勢

現代化高密度數據中心，不斷提升的整體功耗給救熱效率，節能減排、運營成本等帶來了極大挑戰，相比傳統的空氣冷卻方案，液體冷卻(液冷)有著更高的冷卻效率與解源效率:

熱量能夠在更靠近其來源的地方與液冷介質進行交換

同體積的傳熱介質，冷卻劑傳遞熱量的速度是空氣的6倍，蓄熱量是空氣的1000倍

冷卻液傳熱次數更少，容量縮減更小，可更有效降低XPU等關鍵組件的運行溫度及性能損失

2、高密度工作負載計算能力需求不斷提升

芯片整體TDP隨性能增加而增加，京東云 x86 處理器典型TDP，2013年為105瓦，2022年為350瓦

CPU漏電功率隨溫度升高而增加，占用更多功率預算，冷卻系統要幫助將熱阻降低到典型范圍：0.3-0.5 c/w

液冷與風冷在設計上有較大差異，在效率、穩定性、經濟性等方面還有很多優化空間

3、面向可持續發展的冷板液冷解決方案

京東云冷板液冷解決方案是從數據中心級到系統級的整體方案，涵蓋CDU、機架、服務器等不同層級的產品與技術，在CDU、工作液、歧管、服務器等方面進行了針對性的設計。

CDU

在整體液冷解決方案中，CDU 必須具有泵、熱交換器、過濾器、補水系統、變頻器、監視器功能(如溫度和壓力傳感器)和其他組件

工作液

一次回路側選擇去離子水+乙二醇作為工作流體。去離子水有低電阻特性，乙二醇確保流體在低環境溫度下凍結而導致管道破裂的低風險。二次回路選擇純去離子水以提高熱性能。

歧管

安裝在機架上的歧管將冷流體分配到每個服務器節點，在歧管頂部的快速連接器可方使機架部署；歧管底端設計了手動排污口，方便系統排水維護。

服務器

服務器液冷方案主要由冷板、管路、快速接頭和檢漏線組成，單相冷板供液溫度范圍為 40~45℃，工作液容乙二酶溶液(去離子水)。為防范液體泄露，京東云采用檢漏線包裹液冷系統，特別是在冷板和管路接頭處，確保漏液情況下及時報告并啟動漏液應急措施。

4、第三代英特爾”至強”可擴展平臺助力京東云服務器液冷設計

第三代英特爾至強可擴展處理器

提供8個插措配置的多插槽內核計數密度

性能、吞吐量和 CPU頻率顯著提升

內置AI加速功能，提供無規性能基礎，加快多云、智能邊緣和后端等數據的變革性影響。

京東云已于 2021年第二季度在數據中心部署了冷板液冷解決方案采用了基于第三代英特爾至強可擴展處理器的定制化服務器，調整了核心數、基礎和 Turbo題率，TDP、RAS特性、T機箱等主要基數，以適配其可持續的液冷數據中心。

5、實際工程部署結束，京東云冷板液冷方案優勢顯著

通過部署冷板液冷整體解決方案，京東云自建數據中心實現：

數據中心PUF 降至1.1

每個14KW 機柜每年節電31031度

每個14KW 機柜每年碳減排24.4噸

三、藍海大腦冷板液冷解決方案

藍海大腦通過多年的努力，攻克了各項性能指標、外觀結構設計和產業化生產等關鍵技術問題，成功研制出藍海大腦高性能冷板散熱解決方案，支持快速圖形處理，GPU 智能運算，性價比高，外形美觀，滿足了人工智能企業對圖形、視頻等信息的強大計算處理技術的需求。

快速、高效、可靠、易于管理的藍海大腦液冷工作站具備出色的靜音效果和完美的溫控系統。在滿負載環境下，噪音控制在 35 分貝左右。借助英偉達 NVIDIA 、英特爾Intel、AMD GPU顯卡可加快神經網絡的訓練和推理速度，更快地創作精準的光照渲染效果，提供高速視頻和圖像處理能力，加速AI并帶來更流暢的交互體驗。

深度學習液冷服務器系統突破傳統風冷散熱模式，采用風冷和液冷混合散熱模式——服務器內主要熱源 CPU 利用液冷冷板進行冷卻，其余熱源仍采用風冷方式進行冷卻。通過這種混合制冷方式，可大幅提升服務器散熱效率，同時，降低主要熱源 CPU 散熱所耗電能，并增強服務器可靠性。經檢測，采用液冷服務器配套基礎設施解決方案的數據中心年均 PUE 值可降低至 1.2 以下。

液體冷卻方案名詞解釋

一、冷板式液冷

冷板式液冷是指采用液體作為傳熱工質在冷板內部流道流動，通過熱傳遞對熱源實現冷卻的非接觸液體冷卻技術。其中，熱量通過裝配在需要冷卻的電子元器件上的冷板，再通過冷板與液體工質的熱交換實現的方式，稱為間接式液冷。其與浸沒或噴淋式液冷技術不同，后者主要是指電子元器件（通常在熱源表面也需要安裝散熱翅片，以增加熱交換面積）與冷卻工質直接接觸的冷卻方式。

二、冷板

冷板是帶有內部流體通道并允許冷卻工質流過的熱交換器或散熱器。冷板安裝在需要冷卻的電子元器件熱表面上，將元器件產生的熱量通過液體冷卻工質傳遞到冷量分配單元的板式熱交換器。冷板的設計多種多樣，可以根據不同的需求對其進行結構設計優化，其內部流道可以是溝槽、扣合翅片、鏟齒、折疊翅片等構造。對于一些高功耗或高熱密度元器件的散熱設計，流道通常還會設計成更復雜的微通道結構，以增加接觸面積，提高其散熱性能。

冷板基本結構形態包括散熱模塊和固定模塊，固定模塊設計應最大限度滿足扣合力正壓冷板。根據散熱模塊和固定模塊之間的連接方式可分為分體式液冷冷板（冷板散熱模塊與固定模塊由螺釘或其他方式連接，可根據需求進行拆卸與組裝），以及一體式液冷冷板（冷板散熱模塊與固定模塊不可拆卸與組裝）。根據密封形式則可分為密封圈組裝式或焊接密封等。

三、混合冷卻

指同時使用風冷和冷板液冷的方式。常見的混合冷卻是對高功率和高熱密度元器件使用液冷冷卻，而對于低功率元件的冷卻則使用風冷的方式。以 IT 設備的冷卻為例，對于 CPU / GPU 或內存模塊上會安裝液冷冷板，而風扇則用于形成強迫風冷對其他元器件進行冷卻。

此外，還有一種將冷板、泵及換熱器集成在計算系統里面的設計應用。所以采用混合冷卻方式的設計仍然需要空調，來滿足非液冷元器件的散熱需求。為進一步降低機房空調的功耗，可以在機柜門安裝液冷背板門對熱空氣進行初步冷卻，這種方式可以用于高溫機房的設計，甚至可以取消機房空調，構成全液冷冷卻設計。

四、全液冷卻

全液冷卻指的是將所有元器件產生的熱量全部通過液體冷卻工質傳遞至外部環境的冷卻方式。對于 IT 設備，采用全液體冷卻大致有兩種方式，一種是通過冷板設計實現服務器熱量完全導入冷卻工質，一種是通過冷板和液冷背板門組合的方式將服務器的熱量全部導入冷卻工質。前者需要通過設計一個與服務器設計相匹配的復合冷板組件為所有元器件提供冷卻工質的熱傳遞路徑。

對于全液冷機架的設計，機架通常會有一個冷板背板門安裝在熱空氣出口，將服務器中的熱量傳遞到液冷工質中。全液體冷卻方式只需要最低能耗限度的室內空調，來消除殘余在空氣中的熱量。在可接受高溫機房的設計中，室內空調甚至可以取消，以進一步降低數據中心 PUE。

五、單相和兩相冷卻工質（冷卻工質 / 冷媒）

依據冷卻工質在吸收或釋放熱量過程中可能保持液相或產生氣液相轉化的特性，可將冷卻工質區分為單相冷卻工質和兩相冷卻工質。對于在整個運行過程中保持單一液態的冷卻工質稱之為單相冷卻工質，通常包含水基冷卻工質和非水基冷卻工質兩類。

水基冷卻工質中，以純水為溶劑，不添加任何其他材料或只依據耐零下溫度需求添加一定比例（0%~60%）防凍劑構成的，為純水液，需要配合工質純化模塊使用；以純水為溶劑，添加緩蝕劑、殺生劑等，并依據耐零下溫度需求添加一定比例（0%~60%）防凍劑構成的,為配方液，使用時需要定期取樣檢測添加劑狀況。非水基冷卻工質，一般為沸點不低于水的氫氟醚、全氟碳等介電液體或礦物油，使用時需在浸潤材料兼容性上應進行嚴格審查和測試。

對于在吸熱和放熱過程中會發生氣液兩相轉換的液體，稱之為兩相冷卻工質。兩相冷卻工質的沸點通常較低，主要通過液體的氣化潛熱吸收熱量，在循環中形成攜帶熱量的兩相流。兩相冷卻工質通常是介電液體或冷媒。不同兩相冷卻工質的沸點通常不同。

冷板式相變液冷技術的冷板有時也被稱為蒸發器。在本文中，冷板指用于單相冷卻工質或兩相冷卻工質的冷板，冷卻工質指單相或兩相冷卻工質。冷卻工質和所有暴露在冷卻工質中的材料（稱為浸潤材料）之間必須具有相容性，以降低在長期工作環境下腐蝕、加速老化、滲透等風險。且即使在確保冷卻工質和所有浸潤材料相容，在實際操作中仍然需要定期檢查冷卻工質，以確保冷卻工質的品質穩定可靠。

六、冷量分配單元

冷量分配單元的主要作用是隔離一次側與二次側回路，并在其內部提供一次側與二次側的熱交換能力。冷量分配單元主要分為機架式（嵌柜式）、機柜式和平臺式等。機柜式 CDU 通常為一個或多個 IT設備的機架甚至整個機房提供冷卻，具備比機架式 CDU 所需更大的冷卻能力和供液能力。平臺式 CDU 通常是一種帶有更大冷卻能力和供液能力的 CDU 類型，最大冷卻能力可達到 10MW 以上，可以為整個數據中心提供冷卻。為避免 CDU 故障造成冷量不足，需要結合實際情況充分考慮 CDU 的 N+1、N+2 冗余備份，或對 CDU內部的泵驅模塊進行 N+1 冗余設計，以確保足夠的冷量用于冷卻 IT設備，或構成冗余設計實現 CDU 的可在線維護。

CDU 中通常包含熱交換模塊、一二次側過濾組件、二次側泵驅模塊、定壓脫氣模塊、定壓補液模塊、恒溫恒壓監控模塊、漏液檢測模塊、冷卻工質品質參數（電導率、pH）檢測模塊、控制系統、防凝露及去離子裝置等。其中，二次側過濾組件的過濾能力須匹配冷卻回路中對顆粒最敏感的部件，如自封式快換接頭和微通道冷板的需求，以確保冷卻工質中潛在的顆粒不會在流體回路中造成堵塞，并阻止冷卻工質的流動，或插拔時部件失去自封能力。建議過濾精度為 50 微米。

七、機架式冷卻工質供回液歧管

冷卻工質供回液歧管主要功能是將從 CDU 分配進入各機架內的冷卻工質再次均勻分流到各 IT 設備，并從冷板出液端收集回流液體。歧管必須能夠提供符合 IT 設備需求的冷卻流量，確保機架內冷卻工質流量分布均勻，保障 IT 設備可在線移出或接入液冷系統。這些因素在設計中必須仔細考量。

八、自封式快換接頭

自封式快換接頭（QD）用于幫助維護人員檢修而提供快速連接，或斷開IT 設備或其組件與液冷系統的連接并確保具備自封功能，進而確保冷卻工質不會泄漏，液冷系統運行不受影響，IT 設備可持續安全運行。自封式快換接頭一般有兩種設計，即手動插拔式和盲插式。手動插拔式是需要人為手動握住快換接頭，進行插拔連接操作的接頭設計，可分為單手插拔和雙手插拔式，因為涉及手動插拔動作，需要保證足夠插拔操作空間。而盲插接頭是一種通過壓力將公母頭插入導通或拔開斷開，無需手動操作的接頭設計，需要通過精確的滑軌設計或定位銷來輔助定位連接，并要保持導通所需的壓力，以避免公母頭滑移導致接頭液路斷開。

審核編輯 黃昊宇