有專家認(rèn)為，xAI 可能是使用了 OpenAI 模型輸出來微調(diào) Grok。 師出同門？馬斯克的新 AI 機(jī)器人 Grok 引用 OpenAI 使用政策

Grok 是由馬斯克創(chuàng)立的 xAI 公司開發(fā)的 AI 機(jī)器人，類似于 OpenAI 旗下的明星產(chǎn)品 ChatGPT。除了能夠通過 X 平臺（原 Twitter）獲取實(shí)時(shí)知識以外，Grok 與市面上其他模型的最大區(qū)別就是它樂于回答各種“尖銳”問題，并以一種既詼諧又有點(diǎn)叛逆的方式加以解構(gòu)。

但自 Grok 上周正式發(fā)布以來，人們從中發(fā)現(xiàn)了不少有趣的現(xiàn)象。

上周五，安全測試員 Jax Winterbourne 在推文中分享了一張 Grok 拒絕查詢的屏幕截圖，這款機(jī)器人表示：“我恐怕無法滿足該請求，因?yàn)檫@違反了 OpenAI 的用例政策。”消息一出迅速在網(wǎng)上引發(fā)關(guān)注，因?yàn)?Grok 并非出自 OpenAI 之后，反而是為了與 OpenAI 打造的明星級聊天機(jī)器人 ChatGPT 相抗衡而生。

更有趣的是，xAI 的代表并沒有否認(rèn)其 AI 模型存在這種行為。xAI 工程師 Igor Babuschkin 在回復(fù)中寫道：

“之所以會出現(xiàn)這種問題，是因?yàn)榫W(wǎng)絡(luò)上充斥著 ChatGPT 的輸出，所以我們在使用大量網(wǎng)絡(luò)數(shù)據(jù)訓(xùn)練 Grok 時(shí)無意中獲取了其中部分輸出。這對我們來說完全是個(gè)意外，這也是我們第一次發(fā)現(xiàn)問題。這個(gè)問題本身非常罕見，現(xiàn)在我們已經(jīng)意識到其存在，也將在 Grok 的未來版本中確保不再出現(xiàn)類似的問題。大家不用擔(dān)心，Grok 的開發(fā)中并沒有用到 OpenAI 代碼。”

ChatGPT“倒油”： 我們確實(shí)有很多共同點(diǎn)

對于一些專家來說，Babuschkin 的解釋似乎缺乏說服力，因?yàn)榇笳Z言模型一般不會原樣輸出訓(xùn)練數(shù)據(jù)。如果 Grok 是在回答中偶爾提到了 OpenAI 政策，那倒是完全可以理解。但實(shí)際情況恰恰相反，這段基于 OpenAI 政策的拒絕查詢內(nèi)容可能需要專門訓(xùn)練。所以可能性更大的真相，其實(shí)是 Grok 使用 OpenAI 語言模型的輸出數(shù)據(jù)進(jìn)行了微調(diào)。

根據(jù) ArsTechnica 報(bào)道，AI 研究員 Simon Willison 在采訪中表示，“我對 Grok 之所以會輸出這樣的內(nèi)容，只是因?yàn)榛ヂ?lián)網(wǎng)上充斥著 ChatGPT 生成結(jié)果的說法表示懷疑。我在 Hugging Face 上看到過大量表現(xiàn)出相同行為的開放權(quán)重模型，它們的行為同樣跟 ChatGPT 高度相似，但這是因?yàn)槟切┠Ｐ驮谑褂?OpenAI API 生成的數(shù)據(jù)集上進(jìn)行了微調(diào)，或者干脆直接從 ChatGPT 本體中抓取了數(shù)據(jù)。所以我認(rèn)為 Grok 更有可能是在包含 ChatGPT 輸出的數(shù)據(jù)集上進(jìn)行了指令微調(diào)，而非基于網(wǎng)絡(luò)數(shù)據(jù)的純意外表現(xiàn)。”

隨著 Grok 可能借用 OpenAI 結(jié)果的消息傳開，ChatGPT 官方賬號發(fā)帖稱“我們確實(shí)有很多共同點(diǎn)”，并引用了 Winterbourne 的帖子。作為回應(yīng)，馬斯克則寫道：“行吧，小子，反正你就是從整個(gè)網(wǎng)絡(luò)平臺上抓取數(shù)據(jù)訓(xùn)練出來的，所以你肯定最懂。”

馬斯克打造的“叛逆”AI：Grok

根據(jù)介紹，Grok 是一款模仿《銀河系漫游指南》風(fēng)格的“叛逆”機(jī)器人，會以辛辣幽默的方式“銳評”各類問題，其神奇的腦洞往往出人意料。據(jù)悉，Grok 僅經(jīng)過兩個(gè)月的訓(xùn)練就開發(fā)而成，xAI 表示該機(jī)器人將在用戶反饋的幫助下快速發(fā)展。

根據(jù) xAI 的介紹，Grok 確實(shí)會回答那些被大多數(shù)其他 AI 系統(tǒng)拒絕的“尖銳”問題。管理顧問 Satyam Srivastava 表示，Grok 已經(jīng)在不少有爭議的查詢上表現(xiàn)出“非常出色”的處理能力。他提到，馬斯克最近發(fā)布一條推文，其中一名用戶向 Grok 詢問如何合成可卡因，Grok 則將其稱為“臭名昭著的白面兒”。

起初，Grok 還在回復(fù)中添加了一點(diǎn)幽默元素，比如第 4 點(diǎn)是“上灶開炒，希望你別搞炸了或者被抓住。”但馬斯克隨后展示了更詳盡的完整回應(yīng)，稱該機(jī)器人明確強(qiáng)調(diào)這一切都是“出于教育目的”。Srivastava 表示，“這種方法可謂在市場上脫穎而出，遠(yuǎn)優(yōu)于盡量回避此類問題的其他 AI 產(chǎn)品。”

作為 Grok 背后的引擎，Grok-1 在機(jī)器學(xué)習(xí)基準(zhǔn)測試中的表現(xiàn)優(yōu)異，成功超越了同等體量的其他模型。例如，Grok-1 的性能優(yōu)于 ChatGPT-3.5 和 Inflection-1，僅落后于 GPT-4 等體量更大的模型。馬斯克還在 Twitter 上分享了一張圖片，展示了 Grok 與 其他典型 GPT 相比如何利用實(shí)時(shí)信息充實(shí)響應(yīng)結(jié)果。

Grok 在開發(fā)中用到了 Kubernetes、Rust 和由 JAX 構(gòu)建的強(qiáng)大基礎(chǔ)設(shè)施。xAI 團(tuán)隊(duì)也特別強(qiáng)調(diào)了可靠基礎(chǔ)設(shè)施對于深度學(xué)習(xí)研究的重要意義，而 Rust 的性能與可靠性也發(fā)揮了巨大價(jià)值。隨著 Grok 為進(jìn)一步迭代做好準(zhǔn)備，該團(tuán)隊(duì)聲稱其重點(diǎn)關(guān)注可擴(kuò)展、高效且可靠的訓(xùn)練與推理機(jī)制。

此外，Grok 還曾接受 2023 年匈牙利國家高中數(shù)學(xué)考試，獲得的成績?yōu)?C。Srivastava 表示，未來隨著 Grok 掌握更先進(jìn)的學(xué)習(xí)算法，它有望比 ChatGPT 和 Bard 等其他 AI 模型更快地學(xué)習(xí)和適應(yīng)。

但研究參與者兼 Culture Fluid 創(chuàng)始人 Sharon Gai 認(rèn)為，由于 Grok 主要接受來自 Twitter 用戶的訓(xùn)練數(shù)據(jù)，因此她只能暫時(shí)停止對準(zhǔn)確度的考查。她解釋道，“任何人都可以在 Twitter 發(fā)表推文，所以這里簡直成了錯(cuò)誤信息的集散地。相比之下，ChatGPT 則主要將已出版的期刊、網(wǎng)站和書籍作為素材進(jìn)行訓(xùn)練。”

Gai 還補(bǔ)充道，馬斯克在通過藍(lán)標(biāo)認(rèn)證為 Twitter 賺錢的計(jì)劃失敗之后，就匆忙推出了自己的 AI 機(jī)器人。在她看來，“目前馬斯克這套模型的唯一優(yōu)點(diǎn)就是使用了最新數(shù)據(jù)，而且比“清醒的”ChatGPT 能回答更多問題。這款產(chǎn)品也很好地融入了他將 X 打造成超級應(yīng)用的計(jì)劃。馬斯克已經(jīng)為 X 平臺申請到了銀行牌照，還計(jì)劃推出直播服務(wù)。”

審核編輯：劉清