12 月 19 日,OpenAI宣布加緊內(nèi)部安全防護(hù)工作,設(shè)立“安全顧問小組”以防范有害人工智能的潛在威脅。這一舉措意味著技術(shù)團(tuán)隊之上增加新的“守護(hù)者”,為領(lǐng)導(dǎo)層提供專業(yè)意見,且擁有董事會的否決權(quán)。
OpenAI將針對每個模型在網(wǎng)絡(luò)安全、說服力(如虛假信息)、模型自主性以及 CBRN(化學(xué)、生物、放射性和核威脅,如制造新病原體的可能性)等四個方面進(jìn)行風(fēng)險評級。
為了防止某些問題得不到充分討論或處理,OpenAI設(shè)定了多種可能的緩解策略,例如模型拒絕教授如何制作凝固汽油或管式炸彈的傳授。對于評級認(rèn)定為“高風(fēng)險”的模型,將禁止其發(fā)布;而若模型存在“關(guān)鍵風(fēng)險”,則終止其后續(xù)研發(fā)。
然而,負(fù)責(zé)研發(fā)模型的人員并非最佳安全評估和建議者。為此,OpenAI正籌建一支“跨職能安全咨詢小組”,涉足技術(shù)領(lǐng)域,審查研究人員報告,從更全面的視角提供建議,發(fā)掘此前未曾意識到的隱憂。
這個過程要求安全專家的意見同步反饋至董事會及領(lǐng)導(dǎo)層,領(lǐng)導(dǎo)層將權(quán)衡利弊并作出決定;盡管董事會享有最終決定權(quán),但他們也可以隨時撤回決定,防止?jié)撛诘陌踩[患被忽略。
本次更新的重要焦點(diǎn)在于,OpenAI前任首席執(zhí)行官Sam Altman因模型安全問題被董事會罷免。此次高層人事變動,導(dǎo)致兩位主張謹(jǐn)慎做事的董事Ilya Sutskever和 Helen Toner離任。
然而,業(yè)界仍存擔(dān)憂,若專家小組提出建議、CEO據(jù)此決策,眼下的 OpenAI董事會是否有足夠力量制止此舉?此外,OpenAI允諾引入獨(dú)立第三方審計體現(xiàn)的透明度問題是否真正得到解決?
-
網(wǎng)絡(luò)安全
+關(guān)注
關(guān)注
11文章
3300瀏覽量
61132 -
人工智能
+關(guān)注
關(guān)注
1804文章
48726瀏覽量
246623 -
OpenAI
+關(guān)注
關(guān)注
9文章
1202瀏覽量
8649
發(fā)布評論請先 登錄
1750億美元資金籌備中:OpenAI加速人工智能基礎(chǔ)設(shè)施建設(shè)
嵌入式和人工智能究竟是什么關(guān)系?
OpenAI攜手博通、臺積電打造內(nèi)部芯片
為加速人工智能研發(fā),韓國設(shè)立人工智能研究實(shí)驗(yàn)室
《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感
《AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新》第一章人工智能驅(qū)動的科學(xué)創(chuàng)新學(xué)習(xí)心得
risc-v在人工智能圖像處理應(yīng)用前景分析
名單公布!【書籍評測活動NO.44】AI for Science:人工智能驅(qū)動科學(xué)創(chuàng)新
美國人工智能受政府監(jiān)管,OpenAI與甲骨文簽署協(xié)議
OpenAI在人工智能領(lǐng)域發(fā)展勢頭強(qiáng)勁
人工智能如何強(qiáng)化智能家居設(shè)備的功能

評論