文章來源：半導體全解

原文作者：圓圓De圓

高性能計算(High Performance Computing, HPC)以超高的計算性能廣泛應用于國民經濟的各個領域，不僅用于氣候模擬、石油勘探等傳統產業，在生命科學、大數據等領域成為研究和解決挑戰性問題的重要工具。高性能計算需要配備超強儲存能力，本文對先進的存儲技術做了簡單介紹。

高性能計算主要致力于開發超級計算機和運行在高性能計算機上的應用軟件，提升并行計算效率，用于處理復雜的科學計算問題。

隨著軍民科技等不同領域對數據處理需求的不斷提高，多個國家研究者相繼提出運算速度達到每秒百億億次浮點運算的計算目標，Summit、神威太湖之光、天河二號等超級計算機應運而生。

存儲系統是計算機體系結構中重要的組成部分，處理器核中計算所需要的數據以及處理后的數據都需要存儲到存儲系統中。

處理器核與存儲系統之間需要傳輸各種數據信息和指令信息，所以存儲訪問通信極大程度影響著整個計算系統的性能。

在未來高性能計算系統中，處理器核的數量，處理器核的計算速度，存儲系統的容量，以及存儲系統的帶寬等方面都在不斷增長，新型存儲的出現相對于傳統存儲有優勢，也有挑戰。

對各類存儲系統組織形式、內部結構的研究有利于我們設計更匹配的存儲訪問互聯網絡，有效提高訪存帶寬優勢，降低訪問時延，降低整體功耗等。

目前，國內外高性能微處理器的學術研究和工業實踐都在不斷改進創新，存儲系統的組織結構、存儲介質、存儲方式等方面也在不斷發展突破。

一、傳統存儲系統

傳統存儲系統主要以DRAM構成，DRAM cell是存儲系統中最基本的存儲單元。

存儲單元在存儲系統內部按照行(row)和列(column)的形式進行排布形成一個bank。 一個存儲模塊(memory module)內部可以包含多個 bank。

Rank 是存儲系統中對于一個或多個存儲模塊所組成集合的統稱。

Rank 中存儲模塊的數量由單個存儲模塊位寬以及存儲系統的數據位寬決定，例如一個存儲系統的數據位寬為64位，每一個存儲模塊的數據位寬為16位，則在一個rank 中需要使用4個存儲模塊進行并行訪問，實現存儲系統中數據讀寫需求。

在搭建存儲系統中，除了需要考慮存儲模塊的位寬以外，還需要考慮存儲模塊的存儲容量以及系統總容量之間的匹配關系。

在對存儲系統進行一次訪問時，存儲訪問控制器會根據存儲訪問地址首先會決定訪問哪一個 rank，其次決定訪問的bank、row 和 column。

二、新型存儲系統

目前出現的新型存儲可以分為兩類： 一類是在傳統 DRAM 基礎上，利用三維集成技術堆疊而成的三維存儲，諸如 HMC、HBM 等，本質上還是 DRAM 陣列堆疊， 屬于易失性存儲介質;

HMC 由 DRAM 層(DRAM layer，4 層或 8 層)和邏輯層(logic layer，1 層)構成。

傳統 DRAM 中基本概念包括 rank，bank，column，row，HMC 將 DRAM 進 行三維堆疊后，用 vault 代替了 rank，每個 vault 在功能上和操作上都是獨立的。

每個 vault 在邏輯層都設置了一個對應的存儲控制器(即 vault controller)，用于管理 vault 內的所有存儲操作(memory reference operations)，決定該 vault 的時序要求。

刷新操作也由vault controller 控制，而不再是主存儲控制器中進行控制。每個 vault 控制器有一個緩沖查詢操作的隊列，查詢操作的處理不再是按序而是按需求進行。因此，響應信息從vault 操作返回外部串行 I/O 接口有可能是亂序的。而請求信息從同一條外部串行鏈路到同一個 vault/bank 是按序處理，請求信息從不同的外部串行鏈路到同一個 vault/bank 不能保證是按序處理，所以都需要經過主控制器進行管理。

三、HBM (High Bandwidth Memory)

HBM 是另一種典型的三維堆疊 DRAM 存儲，AMD, Nvidia 以及 Hynix 等公司針對 HBM 都進行了相關技術研究。

一般由 4 到 8 個 DRAM die 堆疊而成。每個存儲控制器都是獨立定時和控制。HBM 是成本和帶寬方面的“中間”選項，專為高性能 GPU 環境設計，較 HMC 成本低，因此具有較高的研究價值。

四、相變存儲器 (PCM)

另一類是非易失性存儲 NVM，諸如 PCM、RRAM 等，存儲基本單元結構發生改變，存儲狀態以及存取方式也相應改變，不同 NVM 之間的差異性也較大。

相變存儲器(Phase Change Memory，PCM)其存儲原理為利用硫化物材料在“非結晶態和結晶態兩種狀態間阻值的變化進行數據存儲，其讀取速度與 DRAM 相近， 常用于代替或與 DRAM 混合構成計算機存儲，目前，工業界的公司如 Intel、美光、 IBM、惠普、Numonyx、三星、STMicroelectronics 等都相繼投入研究并生產。

五、電阻式存儲器 (RRAM)

電阻式存儲器(Resistive Random Access Memory, RRAM)的存儲原理為通過對中間的金屬氧化物加壓的方式改變阻值進行數據存儲，屬于另外一類非易失性存儲。 實現不同的存儲性能，可以應用在計算機系統的各級存儲中，目前 Rambus、Panasonic、 Adesto Technologies、SHAPP、IMEC，Unity 等公司陸續投入到 RRAM 的研究與開發中。

六、新型混合存儲的研究

隨著高性能計算系統對運算能力需求的不斷提升，計算系統面臨處理器核到存儲系統(各級緩存和主存)的訪問帶寬、時延、能耗、存儲系統的處理時間、系統并行計算的可擴展性等巨大的技術瓶頸。

針對高性能計算類應用計算數據量大、計算復雜性高、訪存壓力大及訪存功耗高等問題，出現了一種面向新型三維存儲的互連網絡架構，利用2.5D集成技術，將高帶寬存儲HBM集成在基底層上，且在同一基底層上集成計算層，在存儲層與計算層通過光互連網絡層進行互連，如圖所示。

計算層中包括各個計算節點與緩存節點，高帶寬存儲HBM作為主存，與計算層共同集成在基底層上。

通過合理配置光互連結構布局，分配合適數量的光波長資源，提供計算節點與存儲模塊間高效的通信可行性。同時，電控制單元負責控制光互連網絡的資源配置及光電器件的狀態。

七、先進存儲技術解決辦法

國內外研究人員針對存儲訪問瓶頸采取的解決思路可分為三種： 第一種是采用新型緩存機制，充分利用片上緩存資源，通過更高效的緩存數據管理機制解決訪存瓶頸，例如非一致性緩存訪問(Non-Uniform Cache Access, NUCA)，反應性非均勻緩存訪問(Reactive Non-Uniform Cache Access, R-NUCA)等結構。

第二種是采用近存儲計算(Processing in Memory, PIM)，將片上處理器核的部分計算功能轉移到存儲系統端，通過減少遠距離訪存讀寫數據量解決訪存瓶頸。

第三種是設計高性能存儲訪問互連架構，通過訪存高效互連架構的構建，提升處理器核訪問存儲系統的并行性，降低訪問時延、功耗、能耗等。

根據不同應用需求，不同系統架構需求，三種思路的解決方式各有不同的特點與優勢。

采用新型的緩存機制與近存儲計算所受到的應用類型限制較大，設計處理器核與存儲系統之間高性能互連架構，更具有普遍性優勢。

隨著硅光技術、三維集成技術、光通信技術的不斷發展，更有利于處理器核與存儲系統間訪存互連架構的設計，突破高性能計算中的訪存瓶頸。