電子發燒友網報道（文/黃晶晶）盡管當前AI訓練主要采用GPU+HBM的方案，不過一些新的技術仍然希望進一步打破存儲數據傳輸帶來的瓶頸問題。最近，NEO半導體宣布開發其3D X-AI芯片技術，旨在取代當前高帶寬內存(HBM)中的DRAM芯片，通過在3D DRAM中實現AI處理來解決數據總線問題。

通常來說，當前的 AI芯片架構將數據存儲在高帶寬內存中，并通過數據總線將數據傳輸到 GPU 以執行 AI算法(數學計算)。這種架構效率低下，數據總線會導致長時間延遲和高功耗。

而3D X-AI使用存儲單元來模擬神經網絡中的突觸。它支持在同一芯片中進行數據存儲和人工智能操作。存儲在存儲單元中的數據直接用于生成神經網絡的輸出，而不進行任何數學計算，從而大大提高人工智能性能并顯著節省能源。

來源：NEO半導體官網

3D X-AI芯片是一種具有AI處理能力的3D DRAM在同一芯片中，它底部有一個神經元電路層，頂部有300層存儲單元，容量為128 GB。這種創新的芯片可以將人工智能芯片的性能提高100倍，并將功耗降低99%。它具有8倍更高的密度，非常適合存儲大型語言模型(LLM)，用于生成式人工智能應用程序，如Chat GPT，Gemini和CoPilot。

來源：NEO半導體官網

NEO半導體介紹，采用NEO的3D X-AI技術的人工智能芯片可實現，100X性能加速:包含8000個神經元電路，可在3D內存中執行A1處理；99%功耗降低:將數據傳輸到GPU進行計算的需求最小化，從而減少數據總線產生的功耗和熱量；8X內存密度:包含300個內存層，允許存儲更大的AI模型。據NEO估計，每個芯片可支持高達10 TB/s的AI處理吞吐量。使用12個3D X- AI 芯片堆疊HBM封裝可實現120 TB/s處理吞吐量，性能提高100X。

這里的3D DRAM也是NEO半導體的研發方向之一。與水平放置存儲單元的傳統DRAM不同，3D DRAM垂直堆疊存儲單元大大增加單位面積的存儲容量并提高效率，成為下一代DRAM關鍵發展方向。

NEO表示，動態隨機存取存儲器(DRAM)用于支持處理器，使DRAM在電子設備中的使用更加普遍。然而，處理器速度的增長速度比多代內存速度更快，由此產生的“性能差距”逐年擴大。像云數據中心這樣的功耗敏感環境越來越依賴更高功率的處理器來滿足性能要求，但這會減少可用于內存的功率。

采用X-DRAM架構可以降低功耗，降低延遲，并增加吞吐量，以克服使用傳統DRAM時遇到的這些和其他挑戰。這為商業系統(例如服務器)提供了更高的性能，為移動設備(例如智能手機)提供了更長的電池壽命，為邊緣計算設備(例如路由器)提供了更多的功能，并為物聯網對象(例如網關)提供了新的部署選項。

3D X-DRAM的單元陣列結構類似于3D NAND Flash，采用了FBC（無電容器浮體單元）技術，它可以通過添加層掩模形成垂直結構，從而實現高良率、低成本和顯著的密度提升。NEO表示， 3D X-DRAM 技術可以生產230層的128Gbit DRAM 芯片，是當前 DRAM 密度的八倍。近年來，SK海力士、三星電子、美光等存儲廠商都在進行3D DRAM技術的研發，以期滿足于AI浪潮下對高性能、大容量內存的需求。