GTC 2023：深度學習之張星并行和流水線并行
除了數(shù)據(jù)并行之外，還有其他的主流并行技術，即張星并行和流水線并行訓練。
張星并行和流水線并行技術通常被描述為模型并行，在開源社區(qū)中，最著名的兩個系統(tǒng)是NVIDIA的Megatron- M和Microsoft的DeepSpeed。
Megatron- M使用一維張量并行，線算符的權重被分割，大型矩陣乘法被分解為在不同設備上執(zhí)行的較小矩陣藏法，這可以是模型大小在集群中擴展并提高計算效率。
微軟的DeepSpeed和NVIDIA的Megatron- M兼容，并通過Zero Redundancy Optimizer改善數(shù)據(jù)并行訓練，消除內(nèi)存冗余。
Colossal-AI不僅提供了完整的現(xiàn)有并行方法，還提供了更高級的辦法，例如2D、2.5D 和3D張星并行，以及序列并行。
與1D張量并行相比，這些并稱為是2.5D 和3D張星并行，不僅切分參數(shù)，而且沿更多張量唯獨切分輸入和輸出，正方形或者立方體的每個子集，表示可以分配給不同處理器的部分數(shù)據(jù)和工作。
2D張量并行基于經(jīng)典SUMMA矩陣利法算法
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內(nèi)容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
人工智能
+關注
關注
1804文章
48734瀏覽量
246653 -
英偉達
+關注
關注
22文章
3922瀏覽量
93136 -
深度學習
+關注
關注
73文章
5555瀏覽量
122494 -
gtc
+關注
關注
0文章
73瀏覽量
4564
發(fā)布評論請先 登錄
相關推薦
熱點推薦
FPGA中的流水線設計
令預取、 譯碼、 執(zhí)行、 寫回結果， openrisc采用的是 5 級整數(shù)流水線。當然它們的核心思想都是利用并行執(zhí)行提高效率?？偨Y一下，流水線就是插入寄存器，以面積換取速度。`
發(fā)表于 10-26 14:38
基于流水線負載平衡模型的并行爬蟲研究
針對并行爬蟲系統(tǒng)在多任務并發(fā)執(zhí)行時所遇到的模塊間負載平衡問題，提出流水線負載平衡模型(PLB)，將不同的任務抽象為獨立模塊而達到各模塊的處理速度相等，采用多線程的方式
發(fā)表于 03-31 10:19
?19次下載
基于流水線技術的并行高效FIR濾波器設計
基于流水線技術的并行高效FIR濾波器設計
基于流水線技術，利用FPGA進行并行可重復配置高精度的FIR濾波器設計。使用VHDL可以很方便地改變?yōu)V波器的系數(shù)和階數(shù)。在DSP中采用
發(fā)表于 03-28 15:12
?892次閱讀
基于流水線的并行FIR濾波器設計
基于流水線技術，利用FPGA進行并行可重復配置高精度的 FIR濾波器 設計。使用VHDL可以很方便地改變?yōu)V波器的系數(shù)和階數(shù)。在DSP中采用這種FIR濾波器的設計方法可以充分發(fā)揮FPGA的優(yōu)勢。
發(fā)表于 07-18 17:09
?63次下載
CPU流水線的定義
cpu流水線技術是一種將指令分解為多步，并讓不同指令的各步操作重疊，從而實現(xiàn)幾條指令并行處理，以加速程序運行過程的技術。
發(fā)表于 12-14 15:29
?4859次閱讀
Verilog基本功之：流水線設計Pipeline Design
，并暫存中間數(shù)據(jù)的方法。 目的是將一個大操作分解成若干的小操作，每一步小操作的時間較小，所以能提高頻率，各小操作能并行 執(zhí)行，所以能提高數(shù)據(jù)吞吐率（提高處理速度）。 二. 什么時候用流水線設計 使用流水線一般是時序比較緊張
發(fā)表于 09-25 17:12
?7233次閱讀
各種流水線特點及常見流水線設計方式
按照流水線的輸送方式大體可以分為：皮帶流水裝配線、板鏈線、倍速鏈、插件線、網(wǎng)帶線、懸掛線及滾筒流水線這七類流水線。
嵌入式_流水線
，每個子過程由專門的功能部件來實現(xiàn)。? 把多個處理過程在時間上錯開，依次通過各功能段，這樣，每個子過程就可以與其他的子過程并行進行。流水線中的每個子過程及其功能部件稱為流水線的級或段，段與段相互連接形成
發(fā)表于 10-20 20:51
?6次下載
什么是流水線 Jenkins的流水線詳解
jenkins 有 2 種流水線分為聲明式流水線與腳本化流水線，腳本化流水線是 jenkins 舊版本使用的流水線腳本，新版本 Jenkin
發(fā)表于 05-17 16:57
?1265次閱讀
以Gpipe作為流水線并行的范例進行介紹
和充沛優(yōu)質(zhì)的硬件資源 算法的迭代創(chuàng)新 在大模型訓練這個系列里，我們將一起探索學習幾種經(jīng)典的分布式并行范式，包括 流水線并行（Pipeline Parallelism），數(shù)據(jù)
Google GPipe為代表的流水線并行范式
但在實際應用中，流水線并行并不特別流行，主要原因是模型能否均勻切割，影響了整體計算效率，這就需要算法工程師做手調(diào)。因此，今天我們來介紹一種應用最廣泛，最易于理解的并行范式：數(shù)據(jù)并行。
工商網(wǎng)監(jiān)
評論