用于模擬各類場景的高性能計算（HPC）類工作負載，總會產生大量有待篩選的數據。事實上，這也正是HPC與AI的最大區別：前者輸入數據少，輸出數據多；后者則需要輸入大量信息，通過訓練轉化為神經網絡中的少量參數和權重。

但在HPC模擬所生成的數萬億個粒子當中，真正值得研究人員關注的可能只是幾百或幾千個粒子的實際行為。

洛斯阿拉莫斯國家實驗室副部門負責人加里·格里德(Gary Grider)在采訪中表示，“這就像是大海撈針，實際要尋找的只是總體數據中的小小一部分。”這個問題在體量較小的數據集上相對好些，但阿拉莫斯實驗室卻向來以超大規模研究著稱。“我們可能會運行一個內存占用量高達PB級別的實驗，而它往往每隔幾分鐘就輸出一次PB級數據”，且整個過程會持續半年之久。

為了篩選這些數據，科學家們使用一套分析工具來查明到底哪些信息真正具有價值。過去幾年來，阿拉莫斯實驗室一直在想辦法讓分析負載跟數據盡可能接近，甚至考慮把計算轉移到閃存或硬盤控制器上。從某種意義上說，阿拉莫斯實驗室及其合作伙伴想要構建一套大型磁盤控制器集群，利用上面的空閑時鐘周期來處理分析功能。

阿拉莫斯實驗室的研究人員已經取得了一定進展。通過與SK海力士合作，他們實現了將規約功能引入控制器的概念驗證，借此獲得了幾個數量級的性能改進。

格里德表示，“我們已經證明，通過對規約這類簡單分析的全速執行，磁盤驅動器自身就能從磁盤內提取數據，從而徹底消除了傳輸帶寬產生的成本。”

跟能源部下轄的其他HPC實驗室一樣，阿拉莫斯實驗室同樣采用分層存儲架構，目前已經開始在更大的磁盤池上做類似的探索。為了更進一步，阿拉莫斯實驗室與希捷簽訂了合作研發協議。

“事實證明，希捷方面也在嘗試將部分負載轉移到存儲設備上。他們已經擁有原型方案，處理器就部署在磁盤驅動器旁邊。”

彈性問題

但大家都知道，機械硬盤與閃存不同。閃存內部不存在移動部件，而且在使用壽命之內具有相對更可預測的故障率。相比之下，硬盤驅動器內部存在機械結構，隨時都有可能發生故障。這就要求對硬盤做一定程度的彈性化改造——換言之，引入擦除碼或RAID。

“但這也會增加分析流程的復雜度。要進行分析，我們必須了解數據是什么。但磁盤驅動器往往做不到它一點，它只會把所有信息都看作數據塊。”

因此加里德的團隊必須從零開始構建一套專用于存儲加速分析的文件系統，否則一切都只是空談。

“我們不希望這事只有阿拉莫斯實驗室自己參與，畢竟我們后續得定期采購、還需要廠商提供售后支持。”

于是，阿拉莫斯實驗室選擇對現有文件系統做“魔改”，選擇的則是Sun Microsystems早年間打造的Zettabyte文件系統。這是一套專門管理大型彈性磁盤驅動器池的系統，如今被人們親切稱為Spinning Rust。ZFS還能配合Gluster實現多節點擴展，Gluster則是Red Hat當初收購來的集群文件系統。至于分析任務，工程師們將努力調整文件系統，讓它能與Apache的分析堆棧配合運作。

“我們希望努力打造出任何人都能使用的標準工具。”

雖然阿拉莫斯實驗室及其合作伙伴有望構建起一套能夠直驅分析處理的文件系統，但其初期部署難度絕不是一般用戶所能承受的。

因此，格里德希望進一步完善文件系統和分析工具，吸引標準機構和軟件開發者為其添加更多功能，最終打造出一款面向主流受眾的新方案。

任重而道遠

格里德也承認，這方面還有很多工作要做。“要達到消費級應用的程度，可謂是任重而道遠。我們接下來要做的是將其轉化成某種對象模型，而不再是文件中的一個個塊。”

目前，阿拉莫斯實驗室的初步目標是將少量分析功能轉移至磁盤控制器。

“我們還沒有將完整的分析工作負載轉移到磁盤驅動器上，目前做的主要是規約還有一部分合并。但總體來看，規約已經可以在設備層次上實現，之后還有合并和排序這類通常在閃存或內存中實現的操作。”

目前最大的障礙并不是算力，而是磁盤所內置的有限內存。格里德坦言，“現在磁盤的內置內存太小，不足以做排序，只能完成選擇操作。所以接下來的問題是，我們要怎樣增加磁盤的內置內存容量來提升操作復雜度。”

審核編輯 ：李倩