BigCode 是一個開放的科學合作組織，致力于開發大型語言模型。

近日他們開源了一個名為 SantaCoder 的語言模型，該模型擁有 11 億個參數，可以用于 Python、Java 和 JavaScript 這幾種編程語言的代碼生成和補全建議。

根據官方提供的信息，訓練 SantaCoder 的基礎是 The Stack（v1.1）數據集，SantaCoder 雖然規模相對較小，只有 11 億個參數，在參數的絕對數量上低于 InCoder（67 億）或 CodeGen-multi（27 億），但 SantaCoder 的表現則是要遠好于這些大型多語言模型。

不過也正是參數遠遠不及 GPT-3 等參數超過千億級別的超大型語言模型，SantaCoder 適用的編程語言范圍也比較有限，僅支持 Python、Java 和 JavaScript 三種語言。



為了照顧用戶隱私和保證訓練質量，在訓練模型之前，BigCode 注釋了 400 個樣本，并建立和不斷完善 RegEx 規則，以便在訓練前從數據集的代碼中刪除諸如電子郵件地址、密鑰和 IP 地址等敏感信息。

為了讓開發者可以放心使用 SantaCoder 生成的代碼，BigCode 推出了Dataset Search搜索工具。

通過這個工具，開發者可以找出代碼的來源，以便在 SantaCoder 產生的代碼屬于某一個項目的情況下，用戶能夠遵守相應的許可要求。

此外，BigCode 還推出了「Am I in The Stack?」工具，開發者可以檢查自己名下的倉庫是否是訓練數據集的一部分，可以將自己的開源倉庫從數據集中刪除。

BigCode 目前已經在 Huggingface 網站中提供了 SantaCoder 演示。







審核編輯：劉清