數(shù)據(jù)是各種現(xiàn)代企業(yè)的生命線，而數(shù)據(jù)存儲、訪問與管理策略對企業(yè)的生產(chǎn)力、盈利能力以及競爭力會產(chǎn)生顯著影響。隨著人工智能（AI）的興起，各行各業(yè)都在經(jīng)歷變革，企業(yè)不得不重新思考如何利用數(shù)據(jù)來加速創(chuàng)新和增長。然而，AI訓(xùn)練和推理對數(shù)據(jù)管理和存儲提出了獨特的挑戰(zhàn)，因為它們需要處理龐大的數(shù)據(jù)，同時要求高性能、可擴(kuò)展性和高可用性。

存儲系統(tǒng)的性能各異，受多種因素影響。在這篇博客文章中，我們將探討影響存儲系統(tǒng)在AI領(lǐng)域的表現(xiàn)的幾大因素，并重點分析所選用的基礎(chǔ)存儲介質(zhì)將如何影響這些性能因素。

AI工作負(fù)載的關(guān)鍵屬性

AI工作負(fù)載具有數(shù)據(jù)密集和計算密集的雙重特性，這意味著它們需要高速、低延遲地處理大量數(shù)據(jù)。存儲在支持AI工作負(fù)載高效且有效地訪問、攝取、處理和存儲數(shù)據(jù)方面發(fā)揮著關(guān)鍵作用。典型AI工作負(fù)載對存儲要求產(chǎn)生影響的幾個關(guān)鍵屬性包括：

·數(shù)據(jù)多樣性：AI工作負(fù)載需要從多個來源訪問數(shù)據(jù)，數(shù)據(jù)格式包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化，同時這些數(shù)據(jù)位于不同的位置（如本地、云端或邊緣設(shè)備）。存儲解決方案需要確保在不同環(huán)境和平臺之間實現(xiàn)快速且可靠的數(shù)據(jù)訪問和傳輸。

·數(shù)據(jù)速度：AI工作負(fù)載需要實時或近實時地處理數(shù)據(jù)。存儲解決方案需要確保在數(shù)據(jù)攝取、處理和分析過程中，實現(xiàn)高吞吐量、低延遲，以及穩(wěn)定一致的性能。

·數(shù)據(jù)量：由于AI模型越來越復(fù)雜、準(zhǔn)確性越來越高，GPU集群計算能力不斷增長，其存儲解決方案也需要提供靈活且可擴(kuò)展的容量和性能。

·數(shù)據(jù)可靠性和可用性：AI工作負(fù)載必須確保數(shù)據(jù)的完整性、安全性以及非常高的可用性，尤其是在與大型GPU集群相連時，這些集群不能容忍數(shù)據(jù)訪問發(fā)生中斷，因此相應(yīng)的要求也越高。

影響存儲系統(tǒng)性能的因素

存儲系統(tǒng)性能并非單一指標(biāo)，而是多個因素的組合，取決于數(shù)據(jù)、應(yīng)用程序和數(shù)據(jù)中心基礎(chǔ)設(shè)施的特性和要求。其中包括以下幾大重要因素：

·吞吐量：從存儲系統(tǒng)到網(wǎng)絡(luò)或主機，以及從網(wǎng)絡(luò)或主機到存儲系統(tǒng)的數(shù)據(jù)傳輸速率。提高吞吐量可以改善系統(tǒng)性能，方法是增加帶寬以及減少數(shù)據(jù)流中的擁塞和瓶頸。吞吐量通常受網(wǎng)絡(luò)寬帶或存儲介質(zhì)速度的影響。

·延遲：存儲系統(tǒng)對讀寫請求的響應(yīng)時間。低延遲可以改善性能，方法是減少GPU空閑時間以及提高系統(tǒng)對用戶輸入的響應(yīng)能力。機械設(shè)備（如HDD）的延遲本質(zhì)上要遠(yuǎn)高于固態(tài)設(shè)備（SSD）。

·可擴(kuò)展性：存儲系統(tǒng)對數(shù)據(jù)量、數(shù)據(jù)速度和數(shù)據(jù)多樣性的適應(yīng)能力。高可擴(kuò)展性是確保存儲系統(tǒng)能夠隨著業(yè)務(wù)需求和目標(biāo)實現(xiàn)增長和演進(jìn)的關(guān)鍵。在增加系統(tǒng)能夠存儲和管理的數(shù)據(jù)量方面，面臨的嚴(yán)苛挑戰(zhàn)是維持性能擴(kuò)展，同時不觸及瓶頸或存儲設(shè)備的限制。

·復(fù)原力：存儲系統(tǒng)在遭遇故障、錯誤或災(zāi)難時維護(hù)數(shù)據(jù)完整性和可用性的能力。更高的可靠性可以通過降低數(shù)據(jù)損壞、丟失以及恢復(fù)的頻率和影響來提高性能。

其他存儲介質(zhì)

在數(shù)據(jù)中心應(yīng)用中，機械硬盤（HDD）和固態(tài)硬盤（SSD）是兩種主要的持久存儲設(shè)備。HDD是機械設(shè)備，通過旋轉(zhuǎn)的磁盤盤片（表面涂有一層磁性材料）來存儲數(shù)據(jù)，而SSD通過固態(tài)閃存芯片來存儲數(shù)據(jù)。幾十年來，HDD一直都是主導(dǎo)的存儲設(shè)備。HDD的每位成本很低，同時具有長期斷電耐用性，但是在速度和可靠性方面不及SSD。SSD具有高吞吐量、低延遲、高可靠性，以及更密集的封裝選項等特點。

隨著技術(shù)的不斷進(jìn)步和計算需求的日益增加，HDD的機械性質(zhì)確實讓其在性能上無法與SDD比肩。系統(tǒng)設(shè)計可以采用以下幾種方法來提升基于HDD的存儲系統(tǒng)的有效性能，例如將熱數(shù)據(jù)和冷數(shù)據(jù)混合存放（讓熱數(shù)據(jù)從冷數(shù)據(jù)中借用性能），在多個HDD磁盤中并行共享數(shù)據(jù)（提高吞吐量但不降低延遲），在HDD中預(yù)留冗余容量（本質(zhì)上是針對IO進(jìn)行預(yù)置，而不是增加容量），以及為延遲異常的請求或操作添加SSD緩存層。從成本效益的角度來看，這些系統(tǒng)級解決方案的能力只能在有限的范圍內(nèi)擴(kuò)展。實際應(yīng)用需要怎樣的性能水平，這些解決方案就需要進(jìn)行相應(yīng)擴(kuò)展，才能滿足性能要求。對于目前的許多AI 工作負(fù)載而言，基于HDD的系統(tǒng)在性能可擴(kuò)展性和功率效率方面存在不足。

基于SSD的大容量存儲系統(tǒng)可以提供一種更為簡潔且可擴(kuò)展性更強的解決方案，并且它們正在迅速發(fā)展，在許多以GPU為中心的大型數(shù)據(jù)中心中，已成為高性能AI數(shù)據(jù)湖的存儲介質(zhì)。單從驅(qū)動器層面來看，SSD（基于每位成本）的成本要高于HDD。而從系統(tǒng)層面整體來看，如果考慮到以下改進(jìn)，則與HDD相比，使用SSD構(gòu)建的系統(tǒng)運營成本要低一些：

·更高的吞吐量

·延遲降低100倍以上

·每PB字節(jié)所需的服務(wù)器和機架數(shù)量更少

·可靠性更高，使用壽命更長

·在給定的性能水平下，能源效率更高

未來幾年，SSD的容量有望突破120TB。隨著容量的增加以及SSD與HDD之間價格差距的縮小，對于需要高于平均性能或在大數(shù)據(jù)集上需要極低延遲的其他工作負(fù)載（比如視頻剪輯和醫(yī)療成像診斷）來說，這些SSD將是具有吸引力的替代方案。

結(jié)論

存儲性能是運行AI工作負(fù)載的系統(tǒng)的一個重要設(shè)計標(biāo)準(zhǔn)。該性能會影響系統(tǒng)性能、可擴(kuò)展性、數(shù)據(jù)可用性以及整體系統(tǒng)成本和功率要求。因此，了解不同存儲方案的特性與優(yōu)勢，并針對AI需求選擇合適的存儲解決方案至關(guān)重要。選擇合適的存儲解決方案，助您優(yōu)化AI工作負(fù)載，實現(xiàn)AI目標(biāo)。

本文作者

Currie Munce

美光存儲部門高級技術(shù)顧問和戰(zhàn)略專家