在利用 OpenAI 的 GPT-4 為 Bing Chat、 Bing Image Creator、Microsoft 365 Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了類似 ChatGPT 的功能后。微軟現又宣布推出 DeepSpeed-Chat，一種用于 RLHF 訓練的低成本開源解決方案，基于微軟開源的深度學習優化庫 DeepSpeed；聲稱即使是使用單個 GPU，任何人也都可以創建高質量的 ChatGPT 式模型。

該公司表示，盡管開源社區付出了巨大的努力，但目前仍缺乏一個支持端到端的基于人工反饋機制的強化學習（RLHF）的規模化系統，這使得訓練強大的類 ChatGPT 模型十分困難。ChatGPT 模型的訓練是基于 InstructGPT 論文中的 RLHF 方式，與常見的大語言模型的預訓練和微調截然不同，使得現有深度學習系統在訓練類 ChatGPT 模型時存在種種局限。因此，為了讓 ChatGPT 類型的模型更容易被普通數據科學家和研究者使用，并使 RLHF 訓練真正普及到 AI 社區，他們發布了 DeepSpeed-Chat。

DeepSpeed-Chat 具有以下三大核心功能：

簡化 ChatGPT 類型模型的訓練和強化推理體驗：只需一個腳本即可實現多個訓練步驟，包括使用 Huggingface 預訓練的模型、使用 DeepSpeed-RLHF 系統運行 InstructGPT 訓練的所有三個步驟、甚至生成你自己的類 ChatGPT 模型。此外，還提供了一個易于使用的推理 API，用于用戶在模型訓練后測試對話式交互。

DeepSpeed-RLHF 模塊：DeepSpeed-RLHF 復刻了 InstructGPT 論文中的訓練模式，并確保包括 a） 監督微調（SFT），b） 獎勵模型微調和 c） 基于人類反饋的強化學習（RLHF）在內的三個步驟與其一一對應。此外，還提供了數據抽象和混合功能，以支持用戶使用多個不同來源的數據源進行訓練。

DeepSpeed-RLHF 系統：其將 DeepSpeed 的訓練（training engine）和推理能力（inference engine） 整合到一個統一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于 RLHF 訓練。DeepSpeed-HE 能夠在 RLHF 中無縫地在推理和訓練模式之間切換，使其能夠利用來自 DeepSpeed-Inference 的各種優化，如張量并行計算和高性能 CUDA 算子進行語言生成，同時對訓練部分還能從 ZeRO- 和 LoRA-based 內存優化策略中受益。DeepSpeed-HE 還能夠自動在 RLHF 的不同階段進行智能的內存管理和數據緩存。

文檔內容指出，DeepSpeed Chat 與其他先進方案相比的優勢在于：效率和經濟性方面比現有系統快 15 倍以上，在 Azure 云上只需 9 小時即可訓練一個 OPT-13B 模型，只需 18 小時既可訓練 OPT-30B 模型，分別花費不到 300 美元和 600 美元。

在速度和可擴展性方面，即使是 13B 的模型也可以在 1.25 小時內訓練，龐大的 175B 模型可以在不到一天的時間內使用 64 個 GPU 集群進行訓練。在 RLHF 的可訪問性和普及化方面，則可以在單個 GPU 上訓練超過 130 億參數的模型。此外還支持在相同的硬件上分別運行 6.5B 和 50B 的模型，實現高達 7.5 倍的提升。

盡管近期關于對 ChatGPT 類大語言模型發展的反對和擔憂之聲不斷，但微軟似乎仍在全力推進其 AI 開發。對于微軟的此次發布，前 Meta AI 專家 Elvis 也激動地表示，DeepSpeed Chat 提供了 Alpaca 和 Vicuna 等所缺少的、一個端到端的 RLHF 管道來訓練類似 ChatGPT 的模型，解決的是成本和效率方面的挑戰。這是 “微軟令人印象深刻的開源努力。..。.. 是一件大事”。

審核編輯 ：李倩