女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

將各自的成果開源——微軟的PipeDream和谷歌的GPipe

人工智能與大數據技術 ? 來源:大數據文摘 ? 作者:大數據文摘 ? 2020-11-23 11:15 ? 次閱讀

微軟和谷歌一直在積極研究用于訓練深度神經網絡的新框架,并且在最近將各自的成果開源——微軟的PipeDream和谷歌的GPipe。 原則上看,他們都遵循了類似的原則來訓練深度學習模型。這兩個項目已在各自的研究論文(PipeDream,GPipe)中進行了詳細介紹,這篇文章將對此進行總結。 先放上GitHub開源地址 微軟: https://github.com/msr-fiddle/pipedream 谷歌: https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.py 眾所周知,在實驗過程中,雖然訓練基本模型比較瑣碎,但復雜度卻隨模型的質量和大小線性增加。例如,2014年ImageNet視覺識別挑戰賽的冠軍是GoogleNet,它通過400萬個參數獲得了74.8%的top1準確性,而僅僅三年之后,2017年ImageNet挑戰賽的冠軍就使用1.458億個參數(多了36倍)的最新神經網絡實現了top1準確率——82.7%。但是,在同一時期,GPU內存僅增加了約3倍。

隨著模型縮放以達到更高的準確性,對這些模型的訓練變得越來越具有挑戰性。前面的樣本也顯示了,依靠GPU基礎結構的改進來實現更好的訓練是不可持續的。我們需要分布式計算方法,這些方法可以并行化跨不同節點的訓練工作量,以擴展訓練規模。分布式訓練的概念聽起來很瑣碎,但實際上卻極其復雜。

谷歌的GPipe

GPipe專注于擴展深度學習計劃的訓練工作量。從基礎架構的角度來看,訓練過程的復雜性是深度學習模型經常被忽視的一個方面。訓練數據集越來越大,越來越復雜。例如,在醫療保健領域,需要使用數百萬個高分辨率圖像進行訓練的模型并不罕見。結果,訓練過程通常要花費很長時間才能完成,并且內存和CPU消耗非常大。 思考深度學習模型的分布式的有效方法是將其劃分為數據分布式和模型分布式。數據分布式方法采用大型機器集群,將輸入數據拆分到它們之間。模型分布式嘗試將模型移至具有特定硬件的加速器,例如GPU或TPU,以加速模型訓練。 概念上看,幾乎所有訓練數據集都可以按照一定的邏輯進行分布式訓練,但是關于模型的說法卻不盡相同。例如,一些深度學習模型由可以獨立訓練的并行分支組成。在那種情況下,經典策略是將計算劃分為多個分區,并將不同的分區分配給不同的分支。但是,這種策略在按順序堆疊各層的深度學習模型中是不足的, GPipe通過利用一種稱為流水線的技術將數據和模型分布式結合在一起。從概念上講,GPipe是一個分布式機器學習庫,它使用同步隨機梯度下降和流水線分布式進行訓練,適用于由多個連續層組成的任何DNN。 GPipe在不同的加速器之間劃分模型,并自動將一小批訓練樣本拆分為較小的微批。該模型允許GPipe的加速器并行運行,從而最大限度地提高了訓練過程的可擴展性。 下圖說明了具有連續層的神經網絡的GPipe模型在四個加速器之間分配。Fk是第k個分區的復合正向計算函數。Bk是相應的反向傳播函數。Bk取決于上層的Bk + 1和Fk的中間激活。在頂級模型中,我們可以看到網絡的順序性質如何導致資源利用不足。下圖顯示了GPipe方法,其中將輸入的迷你批處理分為較小的宏批處理,這些宏批處理可由加速器同時處理。

圖片來源: https://arxiv.org/pdf/1811.06965.pdf

微軟的PipeDream

幾個月前,微軟研究院宣布創建Project Fiddle,這是一系列旨在簡化分布式深度學習的研究項目。PipeDreams是Fiddle項目首次發布的版本之一,專注于深度學習模型訓練的并行化。 PipeDream采用與其他方法不同的方法來利用稱為管道分布式的技術來擴展深度學習模型的訓練。這種方法試圖解決數據和模型并行技術的一些挑戰,例如GPipe中使用的技術。 通常,在云基礎架構上進行訓練時,數據并行方法在規模上會承受較高的通信成本,并且隨著時間的推移會提高GPU計算速度。類似地,模型分布式技術通常在利用硬件資源上更加效率低下,程序員需要決定如何在給定硬件部署的情況下拆分其特定模型,給他們帶來了不必要的負擔。

圖片來源: http://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf PipeDream嘗試通過使用稱為管道分布式的技術來克服數據模型分布式方法的一些挑戰。 從概念上講,管道分布計算涉及將DNN模型的各層劃分為多個階段,其中每個階段均由模型中的一組連續層組成。每個階段都映射到一個單獨的GPU,該GPU對該階段中的所有層執行正向傳遞(和反向傳遞)。 給定一個特定的深度神經網絡,PipeDream會基于在單個GPU上執行的簡短概要分析,自動確定如何對DNN的運算符進行分區,在不同階段之間平衡計算負載,同時最大程度地減少與目標平臺的通信。即使存在模型多樣性(計算和通信)和平臺多樣性(互連拓撲和分層帶寬),PipeDream也會有效地實現負載平衡。PipeDream訓練分布式的方法的原理比數據模型分布式方法具有多個優點。 對于初學者而言,PipeDream需要在工作程序節點之間進行較少的通信,因為管道執行中的每個工作程序僅需要將漸變的子集和輸出激活信息傳達給單個其他工作程序。

圖片來源: https://www.microsoft.com/zh-cn/research/uploads/prod/2019/08/fiddle_pipedream_sosp19.pdf 訓練分布式是構建更大、更準確的深度學習模型的關鍵挑戰之一。分布式訓練方法是深度學習社區中一個活躍的研究領域,需要將有效的并發編程技術與深度學習模型的本質相結合。盡管仍處于早期階段,但Google的GPipe和Microsoft的PipeDream本身已經是很優秀的產品,它是深度學習開發人員可用的兩種最具創造性的分布式訓練方法。

責任編輯:lq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 微軟
    +關注

    關注

    4

    文章

    6673

    瀏覽量

    105386
  • 谷歌
    +關注

    關注

    27

    文章

    6223

    瀏覽量

    107566
  • 深度學習
    +關注

    關注

    73

    文章

    5555

    瀏覽量

    122498

原文標題:微軟和谷歌分別開源分布式深度學習框架,各自厲害在哪?

文章出處:【微信號:TheBigData1024,微信公眾號:人工智能與大數據技術】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    開源鴻蒙操作系統的生態成果與落地實踐

    電網、中國科學院軟件研究所、證通電子等合作單位共同支持。本次大會聚焦開源鴻蒙 5.1 Release版本,面向開發者和伙伴深度展示開源鴻蒙操作系統的生態成果與落地實踐。
    的頭像 發表于 06-05 14:27 ?237次閱讀

    摩爾線程全面支持DeepSeek開源成果

    DeepSeek開源周正式收官,作為國內率先原生支持FP8計算精度的國產GPU企業,摩爾線程迅速響應,并在短時間內,成功實現對DeepSeek各個開源項目的全面支持,涵蓋FlashMLA
    的頭像 發表于 03-04 10:06 ?420次閱讀

    大舉投資750億、800億美元押注AI!抗衡DeepSeek,谷歌微軟財報揭秘

    電子發燒友原創 章鷹 近日,兩家美國公司先后發布財報。2月4日,谷歌公司表示,2025年將在人工智能建設上投入750億美元,比華爾街預期高出29%。谷歌首席執行官 Sundar Pichai 在
    的頭像 發表于 02-06 09:10 ?2715次閱讀
    大舉投資750億、800億美元押注AI!抗衡DeepSeek,<b class='flag-5'>谷歌</b>和<b class='flag-5'>微軟</b>財報揭秘

    微軟最新消息:微軟入歐洲云服務提供商協會 微軟執行副總裁離職

    給大家帶來一些微軟的最新消息: 微軟入歐洲云服務提供商協會 據外媒報道,Microsoft加入歐洲云基礎設施服務商協會CISPE,將成為該組織的第 39 個成員。但是在該組織內部,并非所有成員都對
    的頭像 發表于 01-24 15:49 ?1952次閱讀

    以學術力量促進開源技術新未來

    社區、平臺和實踐正逐步融入學術評價體系,特別是以高等院校為代表的學術界,正積極參與開源項目,促進產學研深度融合,更多科研成果轉化為實際生產力。
    的頭像 發表于 12-27 13:50 ?458次閱讀

    開源鴻蒙應用案例重磅發布

    開放原子開發者大會暨首屆開源技術學術大會開幕式上,發布了一批開源應用案例,向各界展示開源商業化發展與實踐成果
    的頭像 發表于 12-23 11:32 ?1072次閱讀

    第二屆開放原子大賽首批創新成果集結武漢

    12月20日至21日,武漢將迎來一場開源技術的盛會——2024開放原子開發者大會暨首屆開源技術學術大會。屆時,第二屆開放原子大賽的首批獲獎團隊閃耀亮相,展示他們的創新成果
    的頭像 發表于 12-18 15:22 ?567次閱讀

    微軟GitHub與Anthropic和谷歌合作

    近日,微軟旗下的GitHub宣布了一項重要合作,Anthropic和谷歌的AI模型整合到其代碼助理中,為數百萬軟件開發者提供新的AI模型選項。
    的頭像 發表于 10-30 16:25 ?477次閱讀

    搭建開源大語言模型服務的方法

    本文我們總結5種搭建開源大語言模型服務的方法,每種都附帶詳細的操作步驟,以及各自的優缺點。
    的頭像 發表于 10-29 09:17 ?631次閱讀

    微軟Copilot Studio支持企業創建自主AI代理

    近日,微軟宣布了一項重要進展:下個月,企業將在Copilot Studio中擁有創建自主AI代理的能力。這一消息標志著微軟在AI技術領域的又一次重要突破,將為企業帶來前所未有的智能化升級。 微軟透露
    的頭像 發表于 10-23 11:44 ?608次閱讀

    谷歌向歐盟起訴微軟反競爭行為

    科技巨頭谷歌近日采取法律行動,正式向歐盟委員會提交訴訟,直指微軟在云計算領域的反競爭策略。谷歌聲稱,微軟利用其Windows Server和Microsoft Office的市場主導地
    的頭像 發表于 09-26 14:19 ?447次閱讀

    開放原子開源生態大會OpenHarmony生態主題演講報名開啟

    開源賦能產業,生態共筑未來,OpenAtom OpenHarmony(簡稱“OpenHarmony”)項目群工作委員會將于9月26日上午舉辦OpenHarmony生態主題演講。 屆時,面向全球
    發表于 09-19 22:02

    微軟OpenAI列為競爭對手名單

    微軟在其最新提交給美國證券交易委員會(SEC)的10-K文件中,正式OpenAI列入其競爭對手名單,這一名單中還包括了亞馬遜、谷歌和Meta等科技巨頭。此舉標志著微軟對OpenAI在
    的頭像 發表于 08-05 11:38 ?918次閱讀

    谷歌推出Project Oscar:利用代理技術高效管理軟件程序

    在科技日新月異的今天,谷歌再次以其前瞻性的視野引領著軟件開發領域的新一輪變革。7月18日,谷歌官方宣布了一項重大創新成果——Project Oscar,一個旨在賦能開源開發團隊,通過智
    的頭像 發表于 07-18 15:49 ?417次閱讀

    谷歌DeepMind被曝抄襲開源成果,論文還中了頂流會議

    谷歌DeepMind一篇中了頂流新生代會議CoLM 2024的論文被掛了,瓜主直指其抄襲了一年前就掛在arXiv上的一項研究。開源的那種。
    的頭像 發表于 07-16 18:29 ?829次閱讀
    <b class='flag-5'>谷歌</b>DeepMind被曝抄襲<b class='flag-5'>開源</b><b class='flag-5'>成果</b>,論文還中了頂流會議