近日，DeepSeek公司宣布推出一種全新的稀疏注意力機制——NSA(Native Sparse Attention)。據DeepSeek介紹，NSA旨在與現代硬件實現高度一致，并且具備本機可訓練的特性，專為超快速的長上下文訓練和推理而設計。

NSA通過針對現代硬件的優化設計，顯著加快了推理速度，并大幅度降低了預訓練成本，同時保持了卓越的性能表現。這一機制在確保效率的同時，并未犧牲模型的準確性或功能。

在廣泛的基準測試、涉及長上下文的任務以及基于指令的推理場景中，NSA的表現與采用完全注意力機制的模型相當，甚至在部分測試中展現出更優的性能。這一成果不僅驗證了NSA機制的有效性和實用性，也展示了DeepSeek在人工智能領域的深厚技術積累和創新能力。

DeepSeek推出的NSA機制，不僅為長上下文訓練和推理提供了全新的解決方案，也為人工智能領域的發展注入了新的活力。