女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

新火種AI|OpenAI核心資料被盜!谷歌承認“主動攻擊”,成本僅150元?

新火種 ? 來源:新火種 ? 2024-03-16 11:11 ? 次閱讀

作者:文子

編輯:小迪

谷歌,一招殺入OpenAI大本營。

谷歌再放大招,竊取OpenAI模型機密

如果全世界只有一家公司能趕超OpenAI,那谷歌應該是第一。

最近,谷歌重磅發布了一篇論文報告,里面提出了一種名為“模型竊取”的技術。通過模型竊取技術,谷歌成功破解了ChatGPT基礎模型Ada和Babbage的投影矩陣,甚至連內部隱藏維度的關鍵信息也是直接破獲,分別是1024和2048。

wKgZomX0TMOAVcUhAAG4X0EW0PE004.jpg

這一發現猶如一記重磅炸彈,在AI界引發了強烈的震動。誰也沒想到,號稱“CloseAI”的OpenAI竟然也會被竊取模型機密的一天。

更恐怖的是,這種模型竊取技術還非常簡單。只要你擁有ChatGPT這類封閉大模型的API,就可以通過API接口,發送不到2000次經過精心設計好的查詢,然后去分析它生成的輸出,就可以逐步推斷出模型的內部結構和參數。

雖然這種方法不能完全復制原始模型,但已經足以竊取它的部分能力。而且這種攻擊非常高效,不需要用太多的成本,就可以拿到模型的關鍵信息。

wKgaomX0TMSAQvWlAAI_LqH2Gh4648.jpg

按照谷歌的調用次數來看,僅僅只需要不到20美金(約合150元人民幣)的成本,就可以完成模型竊取的操作,并且這種方法同樣適用于GPT-3.5和GPT-4。

換句話說,就是不費吹灰之力獲得了一個大模型理解自然語言的能力,還能用來構建一個性能相近的“山寨版”模型,既省事又省錢。

反觀OpenAI,被競爭對手低價破解模型機密,真的坐得住嗎?坐不住。截至目前,OpenAI已經修改了模型API,有心人想復現谷歌的操作是不可能了。

值得一提的是,谷歌研究團隊中就有一位OpenAI研究員。不過作為正經安全研究,他們在提取模型最后一層參數之前就已經征得OpenAI同意,而在攻擊完成后,也刪除了所有相關數據。

但不管怎么說,谷歌的實驗足以證明一點,哪怕OpenAI緊閉大門也并不保險。

大模型全面受挫,敲響開閉源警鐘

既然封閉的大模型都無法幸免,開源的大模型又會如何呢?

基于這一點,谷歌針對不同規模和結構的開源模型進行了一系列實驗,比如GPT-2的不同版本和LLaMA系列模型。

要知道,GPT-2是一個開源的預訓練語言模型,分為小型模型(117M)和大型模型(345M)兩種。而在對GPT-2的攻擊中,谷歌通過分析模型的最終隱藏激活向量并執行SVD發現,盡管GPT-2小型模型理論上具有768個隱藏單元,但實際上只有757個有效的隱藏單元在起作用。

這也就意味著GPT-2可能在實際使用中,并沒有充分利用其設計的全部能力,或者在訓練過程中某些維度的重要性不如其他維度。

此外,谷歌還研究了模型中的一種叫做“歸一化層”的東西對于攻擊的影響。一般來說,歸一化層的作用是讓訓練更加穩定,從而提升模型的表現。然而谷歌發現,即使模型加入了歸一化層,攻擊的效果也并沒有減弱。這說明即使考慮了現代深度學習模型中常見的復雜結構,攻擊方法也依然有效。

為了進一步驗證攻擊的范圍,谷歌還將目光瞄向更大、更復雜的LLaMA模型。它是由Meta發布的大語言系列模型,完整的名字是Large Language Model Meta AI,可以說LLaMA是目前全球最活躍的AI開源社區。

通過對LLaMA系列模型進行攻擊,谷歌成功地從這些模型中提取了嵌入投影層的維度信息。值得注意的是,即使在這些模型采用先進的技術,如混合精度訓練和量化,攻擊依然能夠成功,這表明攻擊方法的普適性和魯棒性。

可以說,谷歌給閉源和開源兩大領域同時敲響了一記警鐘。

AI三巨頭對線,2024誰輸誰贏?

從嚴格意義上來講,OpenAI、谷歌、Meta就是爭奪AGI圣杯的三大巨頭。

其中,Meta和OpenAI完全相反,前者走的是開源路線,而后者主要打造閉源模型。但谷歌和他們完全不一樣,閉源與開源雙線作戰,閉源對抗OpenAI,開源對抗Meta。

人工智能領域里,谷歌可以算是開源大模型的鼻祖。今天幾乎所有的大語言模型,都是基于谷歌在2017年發布的Transformer論文,這篇論文顛覆了整個自然語言處理領域的研究范式。而市面上最早的一批開源AI模型,也是谷歌率先發布的BERT和T5。

wKgaomX0TMaAODa-AADZlPBsmWM874.jpg

然而,隨著OpenAI在2022年底發布閉源模型ChatGPT,谷歌也開始調整其策略,逐漸轉向閉源模型。這一轉變使得開源大模型的領導地位被Meta的LLaMA所取代,后來又有法國的開源大模型公司Mistra AI走紅,尤其是其MoE模型備受行業追捧。

直到谷歌今年再次發布開源大模型Gemma,已經比Meta的LLaMA整整晚了一年。

很顯然,Gemma這次的發布標志著谷歌在大模型戰略上的巨大轉變,這一舉動意味著谷歌開始兼顧開源和閉源的新策略,而其背后的目的也是顯而易見。

眾所周知,當前大模型領域的競爭已經形成了一種錯綜復雜的打壓鏈格局。其中OpenAI牢牢站在鏈條頂端,而它所打壓的恰恰是那些有潛力追趕上它的競爭對手,比如谷歌和Anthropic。而Mistral作為一股新興力量,估計也正在被列入其中。

如果非要排列一個打壓鏈條,那可以歸結為:OpenAI→Google &Anthropic & Mistral→ Meta→其它大模型公司。

可以說,無論在閉源還是開源領域,谷歌都沒能確立絕對的領先地位。

所以這也不難理解,為什么有專業人士會認為,谷歌選擇在此時重返開源賽場,是被迫的。谷歌之所以開源主打的是性能最強大的小規模模型,就是希望腳踢Meta和Mistral;而閉源主打的是規模大的效果最好的大模型,就是為了希望盡快追上OpenAI。

但無論如何,在未來的對壘格局里,谷歌已經先發制人,成功將壓力給到OpenAI和Meta。

這一次,關鍵在于OpenAI和Meta該如何應對。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6222

    瀏覽量

    107440
  • 模型
    +關注

    關注

    1

    文章

    3480

    瀏覽量

    49951
  • OpenAI
    +關注

    關注

    9

    文章

    1201

    瀏覽量

    8618
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    谷歌AI霸主歸來!多線反擊OpenAI,開啟安卓Gemini時代

    等。在搜索端,發布了AI Mode搜索模式、Search Live等。 谷歌宣布新的Gemini訂閱計劃:AI Pro用戶定價月付19.99美元(折合人民幣約144),就能夠
    的頭像 發表于 05-22 09:01 ?4809次閱讀
    <b class='flag-5'>谷歌</b><b class='flag-5'>AI</b>霸主歸來!多線反擊<b class='flag-5'>OpenAI</b>,開啟安卓Gemini時代

    OpenAI與博通洽談合作!定制化ASIC芯片走向臺前,英偉達GPU迎來“勁敵”?

    設計公司就開發新芯片進行洽談,以減輕對英偉達的依賴并加強供應鏈。 ? 此外,據稱OpenAI還聘請了曾參與谷歌張量處理單元(TPU)開發和生產的谷歌前員工,以幫助其進行AI芯片的設計工
    的頭像 發表于 07-20 00:02 ?5504次閱讀
    <b class='flag-5'>OpenAI</b>與博通洽談合作!定制化ASIC芯片走向臺前,英偉達GPU迎來“勁敵”?

    谷歌新一代 TPU 芯片 Ironwood:助力大規模思考與推理的 AI 模型新引擎?

    Cloud 客戶開放,將提供 256 芯片集群以及 9,216 芯片集群兩種配置選項。 ? 在核心亮點層面,Ironwood 堪稱谷歌首款專門為 AI 推理精心設計的 TPU 芯片,能夠有力支持大規模思考
    的頭像 發表于 04-12 00:57 ?2004次閱讀

    Figure AI宣布終止與OpenAI合作,專注內部研發

    近日,人形機器人領域的獨角獸企業Figure AI宣布了一個重要決定:因已取得“重大突破”,將終止與OpenAI的合作,并專注于內部人工智能技術的研發。這一決定距離Figure AI宣布
    的頭像 發表于 02-06 14:33 ?553次閱讀

    谷歌再投10億美元于Anthropic,加強AI領域布局

    近日,Alphabet Inc.旗下的谷歌公司宣布,將向人工智能(AI)開發商Anthropic進一步投資10億美元。這一舉動表明,谷歌正在加大對這家頗具潛力的AI公司的支持力度,旨在
    的頭像 發表于 01-23 15:20 ?470次閱讀

    OpenAI進軍傳媒,蘋果暫停AI新聞功能

    技術支持的地方新聞編輯室”。這一舉措標志著OpenAI正式涉足傳媒領域,意圖通過AI技術推動新聞業的創新與發展。 與此同時,蘋果公司在AI新聞功能方面卻遭遇了挫折。面對外界關于AI能力
    的頭像 發表于 01-21 10:10 ?395次閱讀

    Meta AI高管批評OpenAI閉源模式

    OpenAIOpenAI目前采用閉源模式,通過訂閱和API服務等獲取收入。然而,這一模式引發了諸多爭議。作為OpenAI的聯合創始人,特斯拉CEO埃隆·馬斯克就曾因OpenAI違背開
    的頭像 發表于 12-12 11:14 ?738次閱讀

    OpenAI硬件負責人熱議AI基礎設施擴展與節能方案

    在近日于斯坦福大學舉辦的Hot Chips 2024大會上,OpenAI的硬件設施負責人Trevor Cai發表了一場深入人心的演講,其核心聚焦于“構建可擴展的AI基礎設施”。Trevor Cai
    的頭像 發表于 09-02 16:20 ?780次閱讀

    OpenAI承認正研發ChatGPT文本水印

    據外媒報道,OpenAI已經證實正在研究一種用于ChatGPT的文本水印技術,該技術已經能夠高精度地識別出由ChatGPT生成的文章,但是在面對諸如翻譯系統、重寫或特殊字符插入等篡改手段時該技術
    的頭像 發表于 08-05 15:56 ?1179次閱讀

    蘋果承認使用谷歌芯片來訓練AI

    蘋果公司最近在一篇技術論文中披露,其先進的人工智能系統Apple Intelligence背后的兩個關鍵AI模型,是在谷歌設計的云端芯片上完成預訓練的。這一消息標志著在尖端AI訓練領域,大型科技公司正積極探索并實踐著英偉達GPU
    的頭像 發表于 07-30 17:03 ?867次閱讀

    OpenAI公布AI發展的五個階段

    北京時間7月12日,OpenAI為追蹤其人工智能(AI)技術追趕并超越人類智能的進程,正式公布了AI發展的五個階段性劃分,旨在加深公眾對公司AI安全策略及未來愿景的理解。這一分級體系在
    的頭像 發表于 07-12 15:50 ?3945次閱讀

    火種AI OpenAI的CEO又有新動作?這次他成立了AI健康公司

    作者:一號 ? 編輯:美美 AI技術即將改變醫療健康市場。 就在前兩天,人工智能和醫療健康領域迎來了一個重要時刻。OpenAI的CEO薩姆·阿爾特曼(Sam Altman)與Thrive
    的頭像 發表于 07-09 23:01 ?393次閱讀
    新<b class='flag-5'>火種</b><b class='flag-5'>AI</b> <b class='flag-5'>OpenAI</b>的CEO又有新動作?這次他成立了<b class='flag-5'>AI</b>健康公司

    谷歌Gemini Ultra模型訓練成本近2億美元

    斯坦福大學與研究巨頭Epoch AI聯合揭示了云計算時代下AI模型訓練成本的飛速增長。最新研究結果顯示,AI巨頭OpenAI的GPT-4訓練
    的頭像 發表于 06-07 09:36 ?881次閱讀

    火種AI|OpenAI要和蘋果合作了?微軟有些不高興

    OpenAI 的對話式 AI。 如果進展順利,這個合作預計將給 OpenAI 帶來數十億美元的收益。 OpenAI 與蘋果的合作協議 蘋果在近日宣布WWDC 2024開發者大會將在北
    的頭像 發表于 05-31 16:56 ?635次閱讀
    新<b class='flag-5'>火種</b><b class='flag-5'>AI</b>|<b class='flag-5'>OpenAI</b>要和蘋果合作了?微軟有些不高興