ABSTRACT摘要

本文主要介紹英偉達(dá)H100常見(jiàn)的故障類型和問(wèn)題。

國(guó)家政府報(bào)告提出要持續(xù)推進(jìn)“人工智能+”行動(dòng)，大力發(fā)展人工智能行業(yè)，市場(chǎng)上對(duì)算力的需求持續(xù)上漲，英偉達(dá)H100 GPU憑借其強(qiáng)大的算力，成為AI訓(xùn)練、高性能計(jì)算領(lǐng)域的核心硬件。然而，隨著使用場(chǎng)景的復(fù)雜化，H100服務(wù)器故障率也逐漸攀升，輕則影響業(yè)務(wù)進(jìn)度，重則造成巨額損失。

今天，我們就來(lái)聊聊H100的常見(jiàn)故障類型問(wèn)題。

一、HBM3 高帶寬內(nèi)存故障

H100在高負(fù)載、大規(guī)模集群運(yùn)行環(huán)境下容易出現(xiàn)HBM3 高帶寬內(nèi)存故障問(wèn)題，具體表現(xiàn)在以下幾個(gè)方面：

1.性能下降方面

計(jì)算任務(wù)時(shí)長(zhǎng)增加：在運(yùn)行復(fù)雜的深度學(xué)習(xí)模型訓(xùn)練、高性能計(jì)算（如科學(xué)計(jì)算、數(shù)據(jù)分析等）任務(wù)時(shí)，計(jì)算速度會(huì)明顯變慢。比如原本預(yù)計(jì)數(shù)小時(shí)完成的模型訓(xùn)練任務(wù)，可能拖延至數(shù)倍時(shí)長(zhǎng)仍無(wú)法完成。這是因?yàn)?HBM3 內(nèi)存負(fù)責(zé)高速存儲(chǔ)和讀取大量數(shù)據(jù)，故障會(huì)阻礙數(shù)據(jù)的順暢傳遞，導(dǎo)致 GPU 計(jì)算單元等待數(shù)據(jù)時(shí)間增多，整體計(jì)算效率大幅降低。

多任務(wù)并行能力受限：H100 本擅長(zhǎng)并行處理多任務(wù)，內(nèi)存故障時(shí)，同時(shí)運(yùn)行多個(gè)計(jì)算任務(wù)會(huì)出現(xiàn)頻繁卡頓，甚至部分任務(wù)無(wú)法正常啟動(dòng)或中途報(bào)錯(cuò)終止。這源于內(nèi)存無(wú)法穩(wěn)定、快速地為各任務(wù)分配和交換所需數(shù)據(jù)，影響了 GPU 對(duì)多任務(wù)的協(xié)調(diào)處理。

系統(tǒng)與軟件層面

系統(tǒng)報(bào)錯(cuò)頻繁：服務(wù)器在啟動(dòng)、運(yùn)行過(guò)程中會(huì)頻繁報(bào)錯(cuò)，錯(cuò)誤信息多與內(nèi)存相關(guān)，如 “HBM3 memory failure”“memory access error” 等。操作系統(tǒng)日志中也會(huì)充斥大量?jī)?nèi)存校驗(yàn)失敗、數(shù)據(jù)不一致的記錄，這反映出內(nèi)存讀寫異常，數(shù)據(jù)完整性受損。

軟件崩潰：依賴 GPU 加速的軟件（如深度學(xué)習(xí)框架 TensorFlow、PyTorch 等）容易出現(xiàn)崩潰、閃退現(xiàn)象，尤其是在處理大規(guī)模數(shù)據(jù)集或復(fù)雜網(wǎng)絡(luò)架構(gòu)時(shí)。故障內(nèi)存提供的錯(cuò)誤數(shù)據(jù)會(huì)引發(fā)軟件內(nèi)部邏輯錯(cuò)誤，進(jìn)而導(dǎo)致程序無(wú)法正常執(zhí)行。

任務(wù)結(jié)果錯(cuò)誤：完成的計(jì)算任務(wù)結(jié)果出現(xiàn)明顯偏差，如深度學(xué)習(xí)模型預(yù)測(cè)準(zhǔn)確率大幅下降、科學(xué)計(jì)算得到錯(cuò)誤的數(shù)值結(jié)果等。這是因?yàn)閮?nèi)存故障致使部分?jǐn)?shù)據(jù)讀取錯(cuò)誤或?qū)懭胧。罱K影響計(jì)算輸出。

硬件診斷工具報(bào)警：使用英偉達(dá)提供的硬件診斷工具（如 NVIDIA DCGM - Data Center GPU Manager）檢測(cè)時(shí)，會(huì)明確提示 HBM3 內(nèi)存存在故障，包括內(nèi)存帶寬利用率異常、錯(cuò)誤計(jì)數(shù)增加等警告信息，提醒管理員進(jìn)行硬件排查與維修。

二、NVLink 連接問(wèn)題H100依賴NVLink 4.0進(jìn)行GPU間高速通信，在高負(fù)載、大規(guī)模集群運(yùn)行環(huán)境下，NVLink接口或橋接器可能出連接不穩(wěn)定或信號(hào)錯(cuò)誤。具體表現(xiàn)在：

1.軟件工具檢測(cè)結(jié)果異常

通過(guò) 【nvidia-smi topo -m】命令查看 GPU 拓?fù)浣Y(jié)構(gòu)時(shí)，會(huì)發(fā)現(xiàn) GPU 之間沒(méi)有 NVLink 連接顯示為 “NODE”，正常連接下應(yīng)顯示為 “NV1” 或 “NV2” 等。使用 【nvidia-smi nvlink --status】命令檢查 NVLink 連接狀態(tài)，若連接有問(wèn)題，會(huì)顯示鏈接處于非活動(dòng)狀態(tài)或出現(xiàn)錯(cuò)誤，如 “Link X: Y GB/s - Inactive”。

2.系統(tǒng)日志報(bào)錯(cuò)信息

系統(tǒng)日志中可能記錄有 NVLink 相關(guān)的錯(cuò)誤信息。例如，出現(xiàn) “DOE（Data Object Exchange）timeout errors”，即數(shù)據(jù)對(duì)象交換超時(shí)錯(cuò)誤，像 “pci 000000.0: DOE: [2c8] ABORT timed out” 這樣的報(bào)錯(cuò)信息。還可能有類似 “received NVLink inband message arrived on an NVLink port NodeId X NVSwitch Y port Z which is not part of any active partition” 的錯(cuò)誤提示。

3.性能表現(xiàn)不佳

數(shù)據(jù)傳輸速度明顯下降，在多 GPU 協(xié)作任務(wù)中，如深度學(xué)習(xí)模型訓(xùn)練、大規(guī)模數(shù)據(jù)分析等，數(shù)據(jù)傳輸速率低于預(yù)期，影響整體計(jì)算效率。多 GPU 應(yīng)用程序頻繁報(bào)錯(cuò)，由于 NVLink 連接不穩(wěn)定，導(dǎo)致數(shù)據(jù)傳輸中斷或出現(xiàn)錯(cuò)誤，使得依賴 GPU 協(xié)作的應(yīng)用程序無(wú)法正常運(yùn)行，出現(xiàn)報(bào)錯(cuò)、閃退等現(xiàn)象。

4.其他異常情況

多 GPU 并行計(jì)算任務(wù)中，可能出現(xiàn)任務(wù)啟動(dòng)失敗、執(zhí)行過(guò)程中斷或計(jì)算結(jié)果錯(cuò)誤的情況，這是因?yàn)?NVLink 連接出現(xiàn)問(wèn)題后，GPU 之間無(wú)法正常通信和協(xié)作，導(dǎo)致任務(wù)無(wú)法順利進(jìn)行。同時(shí)，使用 nvidia-smi 命令查看 GPU 狀態(tài)時(shí)，可能沒(méi)有 MIG 實(shí)例或活躍的 NVLink 顯示。

三、GPU核心過(guò)熱或電源問(wèn)題

（一）GPU 核心過(guò)熱表現(xiàn)

1.散熱與冷卻系統(tǒng)方面

風(fēng)扇異常 ：機(jī)箱內(nèi) GPU 風(fēng)扇轉(zhuǎn)速明顯加快，機(jī)箱風(fēng)扇也快速轉(zhuǎn)動(dòng)，但溫度依舊持續(xù)升高，甚至可能出現(xiàn)風(fēng)扇故障報(bào)警，如通過(guò) BMC 儀表盤查看到風(fēng)扇轉(zhuǎn)速異常。

散熱器溫度高 ：用手觸摸 GPU 散熱器或其附近的金屬部件，會(huì)感覺(jué)異常燙手。

機(jī)箱內(nèi)溫度上升 ：機(jī)箱內(nèi)的整體溫度明顯高于正常水平，可能導(dǎo)致其他硬件設(shè)備也出現(xiàn)過(guò)熱現(xiàn)象。

2.性能與任務(wù)執(zhí)行方面

計(jì)算性能下降 ：GPU 計(jì)算速度減慢，執(zhí)行深度學(xué)習(xí)模型訓(xùn)練、科學(xué)計(jì)算等任務(wù)時(shí)，速度明顯低于正常狀態(tài)，任務(wù)完成時(shí)間大幅延長(zhǎng)。

任務(wù)中斷或失敗 ：在運(yùn)行高負(fù)載任務(wù)時(shí)，可能會(huì)出現(xiàn) GPU 熱保護(hù)機(jī)制觸發(fā)，導(dǎo)致任務(wù)中斷、報(bào)錯(cuò)甚至整個(gè)系統(tǒng)崩潰，如在運(yùn)行 CUDA 程序時(shí)提示 “CUDA error: device-side assertion failed” 等錯(cuò)誤信息。

無(wú)法穩(wěn)定運(yùn)行 ：系統(tǒng)可能出現(xiàn)頻繁的自動(dòng)重啟、死機(jī)等現(xiàn)象，尤其在長(zhǎng)時(shí)間高負(fù)載運(yùn)行后更為明顯。

3.系統(tǒng)監(jiān)控與日志方面

溫度監(jiān)控工具報(bào)警 ：通過(guò) nvidia-smi 等工具查看 GPU 溫度時(shí)，會(huì)發(fā)現(xiàn)溫度持續(xù)超過(guò)正常范圍，如在正常負(fù)載下溫度超過(guò) 90°C（H100 的正常溫度范圍一般在 0°C 至 90°C 之間，但具體取決于具體應(yīng)用場(chǎng)景和散熱條件）。

硬件錯(cuò)誤日志 ：系統(tǒng)硬件錯(cuò)誤日志中會(huì)出現(xiàn)與 GPU 過(guò)熱相關(guān)的警告或錯(cuò)誤信息，如 “Hardware Error: Hardware error from APEI Generic Hardware Error Source” 等類似的報(bào)錯(cuò)信息。

（二）電源問(wèn)題表現(xiàn)

1.系統(tǒng)指示燈方面

電源指示燈異常 ：系統(tǒng)電源指示燈閃爍或不亮，或出現(xiàn)與正常狀態(tài)不同的顏色顯示，如從正常的綠色變?yōu)辄S色或紅色。

其他指示燈異常 ：機(jī)箱上的硬盤指示燈、網(wǎng)絡(luò)指示燈等可能也會(huì)出現(xiàn)閃爍或異常狀態(tài)，表明系統(tǒng)電源供應(yīng)不穩(wěn)定。

2.系統(tǒng)運(yùn)行方面

突然斷電或重啟 ：系統(tǒng)在正常運(yùn)行過(guò)程中突然斷電或自動(dòng)重啟，且無(wú)明顯規(guī)律，這可能是由于電源供應(yīng)不穩(wěn)定導(dǎo)致的。

性能下降 ：系統(tǒng)整體性能出現(xiàn)下降，如計(jì)算速度變慢、數(shù)據(jù)讀寫速度降低等，這可能是由于電源無(wú)法提供足夠的電力支持硬件設(shè)備的正常運(yùn)行。

無(wú)法正常開機(jī) ：按下電源按鈕后，系統(tǒng)無(wú)法正常啟動(dòng)，或者啟動(dòng)過(guò)程中出現(xiàn)卡頓、停止響應(yīng)等情況。

3.系統(tǒng)監(jiān)控與日志方面

電源監(jiān)控工具報(bào)警 ：通過(guò) nvsm 命令或 BMC 網(wǎng)頁(yè)用戶界面查看電源狀態(tài)時(shí)，會(huì)發(fā)現(xiàn)電源健康狀態(tài)顯示為非正常，如 “Status_Health=Warning” 或 “Status_Health=Critical”。

日志記錄電源錯(cuò)誤 ：系統(tǒng)日志或電源監(jiān)控日志中會(huì)出現(xiàn)與電源相關(guān)的錯(cuò)誤信息，如 “ipmitool sdr | grep -i psu” 命令查看到的電源輸出讀數(shù)接近于零或無(wú)溫度讀數(shù)。

以上就是H100常見(jiàn)的故障問(wèn)題。

如果您的H100出現(xiàn)了故障，推薦你來(lái)深圳這家GPU維修工作室。