電子發燒友網綜合報道 AI大模型帶來算力硬件需求升級，算力芯片、HBM內存等迎來需求暴增。而在軟件端，由于AI大模型的海量數據、高算力需求、分布式訓練等特點，對文件系統也提出了與傳統應用截然不同的要求。
?
最近，開源文件系統EROFS在即將到來的Linux 6.15內核周期中進行擴展，以處理更大規模的存儲系統。此次改進旨在使EROFS更適配AI訓練場景及其他大規模數據歸檔需求。
?
在Linux 6.15合并窗口開啟（緊隨v6.14內核發布之后），EROFS新增了48位尋址支持，旨在通過擴展文件系統容量上限，滿足AI訓練等大規模數據存檔場景的需求。來自阿里巴巴的工程師高翔（在華為工作期間主導開發了EROFS）在提交的補丁系列中解釋道：
?
當前32位塊尋址限制了EROFS的最大卷容量（4KiB塊下限為16TiB），但AI模型訓練的海量數據集，需要文件系統提升每輪訓練周期中隨機采樣性能；利用EROFS直通特性實現高效數據訪問。
?
此次更新擴展了核心磁盤結構以支持48位塊尋址，包括inode（索引節點）、設備槽位和inode塊等結構。
?
與此同時，新版本在32字節緊湊型inode中增加了mtime字段以支持基礎時間戳功能，并將超級塊根NID擴展為8字節的rootnid_8b，以實現異地更新的增量構建。引入字節導向編碼擴展區（byte-oriented encoded extents），允許主流壓縮算法（如Zstd）沿用其現有方法，從而支持超越32位尋址限制的大型鏡像及壓縮數據的高效索引（尤其在壓縮單元較大時）。
?
48位尋址的意義在于，將文件系統的理論最大卷容量從16TiB（32位）提升至4EiB（48位），滿足PB級AI訓練數據集需求；直接透傳對象存儲客戶端時，可避免中間轉換層性能損耗。
?
值得一提的是，EROFS最早是華為內部的移動端優化方案。2017年，華為內部工程師開始研究只讀壓縮文件系統的概念驗證（POC），旨在解決傳統只讀文件系統（如SquashFS）的性能瓶頸，尤其是壓縮效率與內存占用問題。
?
到2018年EROFS初步設計完成，并在開源社區首次亮相。其核心創新包括改進的壓縮算法 和固定大小輸出壓縮 （Fixed-Size Output Compression），在節省存儲空間的同時提升讀取性能。
?
2019年，EROFS超級文件系統首次在華為P30系列手機中落地，與F2FS文件系統形成互補，EROFS負責系統分區，F2FS管理用戶數據，顯著提升系統啟動速度和隨機讀取性能。同年，Linux內核5.4正式將華為EROFS超級文件系統合入主線，成為linux文件系統前端的重要內核。
?
而作為一個開源社區維護的文件系統，EROFS在2022年被Android 13 采納為默認只讀文件系統，谷歌與華為合作優化其壓縮算法，進一步減少存儲占用并提升I/O效率。此時EROFS已支持原生文件系統壓縮，并通過Linux內核主線版本持續迭代。
?
而隨著終端需求的變化，EROFS也正在圍繞壓縮效率、存儲密度與讀取性能不斷迭代。此次EROFS升級標志著其從嵌入式、移動端優化，向企業級AI、大數據存儲場景的拓展。結合其固有的高壓縮率與低延遲讀取特性，EROFS有望成為AI訓練流水線中高效存儲層的新選擇，尤其適用于需要快速加載預處理數據集或模型參數的場景。
?
?