女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

谷歌大腦和DeepMind聯合發布堪稱AI界的MapReduce

中科院長春光機所 ? 來源:新智元、reddit ? 作者:新智元、reddit ? 2021-06-26 15:32 ? 次閱讀

【新智元導讀】AI模型進入大數據時代,單機早已不能滿足訓練模型的要求,最近Google Brain和DeepMind聯手發布了一個可以分布式訓練模型的框架Launchpad,堪稱AI界的MapReduce。

正如吳恩達所言,當代機器學習算法的成功很大程度上是由于模型和數據集大小的增加,在大規模數據下進行分布式訓練也逐漸變得普遍,而如何在大規模數據、大模型的情況下進行計算,還是一個挑戰。

分布式學習過程也會使實現過程復雜化,這對于許多不熟悉分布式系統機制的機器學習從業者來說是個問題,尤其是那些具有復雜通信拓撲結構的機器學習從業者。

在arxiv上一篇新論文中,來自 DeepMind 和 Google Brain 的研究團隊用 Launchpad 解決了這個問題,Launchpad 是一種編程模型,它簡化了定義和啟動分布式計算實例的過程。

論文的第一作者是來自DeepMind的華人Yang Fan,畢業于香港中文大學。

Launchpad 將分布式系統的拓撲描述為一個圖形數據結構,這樣圖中的每個節點都代表一個服務,即研究人員正在運行的基本計算單元。

將句柄構造為節點的引用,將客戶端表示為尚未構造的服務。

圖的邊表示兩個服務之間的通信,并在構建時將與一個節點相關聯的句柄給予另一個節點時創建。

通過這種方式,Launchpad 可以通過傳遞節點句柄來定義跨服務通信。Launchpad 的計算構建塊由不同的服務類型表示,每種服務類型由特定于該類型的節點和句柄類表示。

論文中提出的 Launchpad 的生命周期可以分為三個階段: 設置、啟動和執行。設置階段構造程序數據結構; 在啟動階段,處理這個數據結構以分配資源、地址等,并啟動指定服務; 然后執行階段運行服務,例如為服務通信創建客戶端。

Launchpad 是用流行的編程語言 Python 實現的,它簡化了定義程序和節點數據結構以及為單個平臺啟動的過程。Launchpad 框架還可以很容易地用任何其他宿主語言實現,包括 c/c + + 等低級編程語言。

Launchpad 編程模型非常豐富,足以容納各種各樣的分布式系統,包括參數服務器、 MapReduce和 Evolution Strategies。

研究人員用簡潔的代碼詳細描述了如何將 Launchpad 應用到這些常見的分布式系統范例中,并說明了該框架在簡化本研究領域常用機器學習算法和組件的設計過程方面的能力。

總的來說,Launchpad 是一個實用的、用戶友好的、表達性強的框架,用于機器學習研究人員和實踐者詳細說明分布式系統,作者表示,這個框架能夠處理日益復雜的機器學習模型。其他框架

2020年,DeepMind 發布過一個強化學習優化框架Acme,可以讓AI驅動的智能體在不同的執行規模上運行,從而簡化強化學習算法的開發過程。

強化學習可以讓智能體與環境互動,生成他們自己的訓練數據,這在電子游戲、機器人技術、自動駕駛機器人出租車等領域取得了突破。

隨著所使用的訓練數據量的增加,這促使設計了一個系統,使智能體與環境實例相互作用,迅速積累經驗。DeepMind 斷言,將算法的單進程原型擴展到分布式系統通常需要重新實現相關的智能體,這就是 Acme 框架的用武之地。

DeepMind研究員寫道,「Acme 是一個用于構建可讀、高效、面向研究的 RL 算法的框架。Acme 的核心是設計用于簡單描述 RL 智能體,這些智能體可以在不同規模的執行中運行,包括分布式智能體。」

Determined AI也是一個深度學習神器。Determined使深度學習工程師可以集中精力大規模構建和訓練模型,而無需擔心DevOps,或者為常見任務(如容錯或實驗跟蹤)編寫代碼。更快的分布式訓練,智能的超參優化,實驗跟蹤和可視化。

一萬億模型要來了?谷歌大腦和DeepMind聯手發布分布式訓練框架Launchpad

Determined主要運用了Horovod,以Horovod為起點,研究人員運用了多年的專業知識和經驗,使得整個訓練過程比庫存配置要快得多。

Horovod 是一套面向TensorFlow 的分布式訓練框架,由Uber 構建并開源,目前已經運行于Uber 的Michelangelo 機器學習即服務平臺上。Horovod 能夠簡化并加速分布式深度學習項目的啟動與運行。當數據較多或者模型較大時,為提高機器學習模型訓練效率,一般采用多 GPU 的分布式訓練。TensorFlow 集群存在諸多缺點,如概念太多、學習曲線陡峭、修改的代碼量大、性能損失較大等,而 Horovod 則讓深度學習變得更加美好,隨著規模增大,Horovod 性能基本是線性增加的,損失遠小于 TensorFlow。

2019年,字節跳動AI lab開源了一款高性能分布式框架BytePS,在性能上顛覆了過去幾年allreduce流派一直占據上風的局面,超出目前其他所有分布式訓練框架一倍以上的性能,且同時能夠支持Tensorflow、PyTorch、MXNet等開源庫。

BytePS 提供了 TensorFlow、PyTorch、 MXNet 以及Keras的插件,用戶只要在代碼中引用BytePS的插件,就可以獲得高性能的分布式訓練。BytePS的核心邏輯,則實現在BytePS core里。具體的通信細節,完全由BytePS完成,用戶完全不需要操心。

來源:reddit

責任編輯:haq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6222

    瀏覽量

    107432
  • AI
    AI
    +關注

    關注

    87

    文章

    34090

    瀏覽量

    275200
  • 機器學習
    +關注

    關注

    66

    文章

    8488

    瀏覽量

    134012

原文標題:一萬億模型要來了?谷歌大腦和DeepMind聯手發布分布式訓練框架Launchpad

文章出處:【微信號:cas-ciomp,微信公眾號:中科院長春光機所】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    上汽集團與華為聯合發布新品牌“SAIC尚

    4月16日,在鴻蒙智行新品發布會上,上汽集團與華為聯合發布了全新品牌“SAIC尚”。上汽集團總裁賈健旭與華為常務董事、終端BG董事長余承東攜手登臺,揭曉這一最新戰略合作成果,標志著雙方在智能汽車領域的合作進入實質性落地階段。
    的頭像 發表于 04-16 17:55 ?400次閱讀

    英偉達GTC2025亮點:NVIDIA、Alphabet 和谷歌攜手開啟代理式與物理AI的未來

    聯合計劃涵蓋基礎設施和開源模型優化,在機器人、藥物研發等領域取得巨大進展 具有長期合作伙伴關系的 NVIDIA、Alphabet 和谷歌宣布了多項新計劃,旨在推動 AI 發展、普及 AI
    的頭像 發表于 03-21 15:10 ?1006次閱讀
    英偉達GTC2025亮點:NVIDIA、Alphabet 和<b class='flag-5'>谷歌</b>攜手開啟代理式與物理<b class='flag-5'>AI</b>的未來

    Banana Pi 發布 BPI-AI2N &amp; BPI-AI2N Carrier,助力 AI 計算與嵌入式開發

    []() 2025年3月19日——Banana Pi 今日正式發布 BPI-AI2N & BPI-AI2N Carrier,基于瑞薩電子(Renesas)同步發布的最新的高性能
    發表于 03-19 17:54

    谷歌加速AI部門整合:AI Studio團隊并入DeepMind

    近日,谷歌正緊鑼密鼓地推進其人工智能(AI)部門的整合工作。據谷歌AI Studio主管Logan Kilpatrick在領英頁面上的透露,谷歌
    的頭像 發表于 01-13 14:40 ?588次閱讀

    黑芝麻智能與RockAI發布AI Agent解決方案

    黑芝麻智能與RockAI聯合發布基于武當C1200家族芯片的AI Agent解決方案,該方案將部署于未來的智能座艙應用中。
    的頭像 發表于 01-10 16:33 ?621次閱讀

    云天勵飛聯合發布AI智能眼鏡

    近日,云天勵飛在互動平臺上宣布,公司與閃極科技、LOHO眼鏡品牌攜手合作,共同推出了全新的AI智能眼鏡。這款眼鏡不僅集成了云天勵飛自研的大模型“云天天書”,還充分展現了公司在AI技術領域的深厚積累
    的頭像 發表于 12-26 11:05 ?1020次閱讀

    東軟與中國信通院聯合發布數據報告

    近日,東軟與中國信息通信研究院產業與規劃研究所聯合發布《數據要素價值實現路徑洞察報告》。報告闡述了數據作為形成新質生產力的優質生產要素,以其獨特的價值增值方式促進科技革命和產業變革,提升全要素生產率。
    的頭像 發表于 12-25 09:28 ?427次閱讀

    開放原子與Eclipse兩基金會聯合發布EPL-2.0許可證中譯文

    中國首家開源基金會開放原子開源基金會與歐洲最大的開源組織Eclipse基金會今天聯合發布了雙方認可的Eclipse公共許可證第2.0版中譯文。
    的頭像 發表于 12-23 11:26 ?672次閱讀

    谷歌與三星聯合發布Android XR操作系統

    系統整合了谷歌在人工智能、增強現實(AR)以及虛擬現實(VR)領域的技術積累,充分展現了谷歌在技術創新方面的實力。通過這一系統,用戶將能夠享受到更加逼真、生動的虛擬世界,以及更加智能、便捷的操作體驗。 此次發布的Android
    的頭像 發表于 12-16 10:08 ?504次閱讀

    spark為什么比mapreduce快?

    spark為什么比mapreduce快? 首先澄清幾個誤區: 1:兩者都是基于內存計算的,任何計算框架都肯定是基于內存的,所以網上說的spark是基于內存計算所以快,顯然是錯誤的 2;DAG計算模型
    的頭像 發表于 09-06 09:45 ?449次閱讀

    壁仞科技與軟通動力聯合發布創新AI PC產品

    在廣州市黃埔區中新知識城舉辦的“H?I3 AI探索峰會”上,壁仞科技與軟通動力攜手共創輝煌,聯合發布了全新的AI PC(AIPC)產品,這一里程碑式的合作標志著AI技術在企業應用領域的
    的頭像 發表于 09-02 16:07 ?692次閱讀

    谷歌任命原Character.AI首席執行官為Gemini聯合技術負責人

    近日,谷歌宣布了一項重要人事任命,原Character.AI聯合創始人兼首席執行官諾姆·沙澤爾(Noam Shazeer)已重返谷歌,并將擔任其人工智能新項目“Gemini”的
    的頭像 發表于 08-26 11:06 ?752次閱讀

    谷歌Pixel 9系列發布會:AI技術領先,Gemini AI成焦點

    8月14日,谷歌在景山城總部舉行了一場備受矚目的新品發布會,提前于蘋果iPhone 16系列發布,展示了Pixel 9系列手機及其搭載的全新AI功能,這一舉措迅速吸引了業界的廣泛關注。
    的頭像 發表于 08-15 15:22 ?1501次閱讀

    谷歌DeepMind被曝抄襲開源成果,論文還中了頂流會議

    谷歌DeepMind一篇中了頂流新生代會議CoLM 2024的論文被掛了,瓜主直指其抄襲了一年前就掛在arXiv上的一項研究。開源的那種。
    的頭像 發表于 07-16 18:29 ?798次閱讀
    <b class='flag-5'>谷歌</b><b class='flag-5'>DeepMind</b>被曝抄襲開源成果,論文還中了頂流會議

    谷歌借助Gemini AI系統深化對機器人的訓練

    7月12日,國際科技傳來新動態,谷歌正借助其先進的Gemini AI系統,深化對旗下機器人的訓練,旨在顯著提升它們的導航能力和任務執行能力。DeepMind機器人團隊最新
    的頭像 發表于 07-12 16:29 ?855次閱讀