?

自動駕駛系統依賴于人工智能深度神經網絡（deep neural networks, DNN）算法來執行感知、決策和控制等復雜任務。

近年來，針對于自動駕的深度神經網絡算法的精度有了顯著提高。然而，汽車在行駛過程中，除了要保證自動駕駛系統的輸出和決策是準確的之外，其時機也必須是確定性的，因為即使準確但過晚的輸出可能導致汽車撞上障礙物從而發生事故。因此準確性和實時性都是安全系統中需要考慮的關鍵因素。

深入理解自動駕駛系統中的深度神經網絡模型的工作負載的多樣性和有效的端到端執行，為準確和實時的執行提供硬件和軟件機制是保障自動駕駛安全和有效的基礎。

考慮到自動駕駛系統當中有多深度神經網絡模型需要同時運行，每個模型的工作負載的多樣性以及特殊安全性需求等等挑戰，如何能夠設計一個高效可靠且能適配于神經網絡處理器（Neural Network Processing unit, NPU）硬件架構的多深度神經網絡DNN的調度機制越來越成為自動駕駛領域內各方關注重點和研究對象。

1. 理解多深度網絡生成和執行的上下文

1. 1 深度神經網絡工作負載的生成

深度神經網絡DNN的可執行文件的生成通常包含以下幾個步驟：

首先是在Pytorch、Tensorflow等AI框架下開發和訓練得到的模型，也可以進一步將模型轉換成ONNX格式。

通常模型在訓練完之后，還會通過模型壓縮工具進一步進行壓縮和轉換，這包括量化、稀疏以及剪枝等等，這些方法可以大大地提升模型運行的效率，并節約硬件中存儲等資源，這一步驟是可選的。

被轉換后的模型通過AI編譯器進行編譯，通常AI編譯器至少分成前端和后端兩個部分，前端將模型進行多層融合和算子對應并生成圖形表達，后端則是負責將高階的模型表達形式轉換成低階的張量或者算子層級的表達，并完成到硬件資源的映射和存儲分配，生成機器代碼，最終編譯器將輸出可執行文件，以支持在NPU硬件中執行。

有的編譯器可以支持單個或者多個模型同時處理，并且將他們聯合進行編譯乘多種輸出形式的二進制文件，包括單個模型在單個stream中，多個模型分成多個stream，以及多個模型混合在同一個stream當中。如下圖中所示：

圖 1 深度神經網絡DNN工作負載的生成步驟

1.2 深度神經網絡工作負載的執行

上一節介紹了深度神經網絡DNN，接下來再理解下深度神經網絡DNN是如何在硬件中執行的。

DNN的執行大體上也可以分為幾個層級，最頂層的是應用層，正如之前提到的，編譯器可以將多個神經網絡模型分布單個或者多個stream當中，在中間層的調度負責將具體的任務負載從各個stream中提取出來放到調度隊列當中，然后由底層驅動和運行時調度器將任務分配到NPU硬件中進行執行。

負責執行深度神經網絡的硬件架構有多種形式，從單個計算核心到多個簇（Cluster）以及異構架構等等。一般來說計算核心是由調度器以及處理單元（Processing Element，PE）陣列組成，而cluster則有多個計算核心組成。在異構架構中除了有PE陣列單元負責卷積以及矩陣操作之外，還有支持向量運算的向量計算單元等等。

圖 2深度神經網絡DNN工作負載的執行分層

2. 深度神經網絡DNN在NPU上調度的目標和挑戰

2.1 深度神經網絡DNN在NPU上調度的挑戰

01

多深度神經網絡DNNS的實時性要求

各個模型需要執行的開始時間不同，同時各個模型的任務截止時間也不相同。另外優先級高的模型任務需要得到優先調度，甚至有的時候需要搶占式來保證高優先級的任務模型立即執行。最后還要滿足模型的服務質量（quality of service，QOS）的要求等等。

02

深度神經網絡的負載多樣性

深度神經網絡由多個層級組成的結構，其負載實質上就是其中不同層級中的算子操作。這些算子的計算強度各不相同，計算強度是由計算量除以訪存量就可以得到的，它表示此模型在計算過程中，每個字節內存交換到底用于進行多少次浮點運算，其單位是字節每秒浮點運算次數（FPLOPs）/字節（Byte），算子計算強度越大，其內存使用效率越高。根據計算強度我們可以把不同的算子其分為計算受限(computing-bound)以及存儲受限(memory-bound)兩種類型。

對于計算受限的算子，它們通常對相同的數據執行多個操作，因此可以充分利用加速器中的處理元素。但是，它們不需要經常從內存中獲取數據，而不需要充分利用內存緩沖區和帶寬。這是卷積算子的情況。

對于存儲受限的算子，它們的數據可重用性很低。因此，他們需要非常頻繁地獲取數據，計算資源沒有得到充分利用，等待更多的數據。池化（Pooling）、全連接層（full connection）、激活函數（activation function）等算子以及自注意力（self-attention）等算子都是受內存限制類型的。

正是由于計算受限和存儲受限的算子對于資源的訴求不同，因為調度器需要根據將被執行的算子的特性進行不同的調度策略和資源分配才能達到實時性和高效率的要求。

圖 3深度神經網路DNN中不同算子的占比

(J.-H. Kim et al., 2022)

圖 4 DNN中的計算受限和內存受限的工作負載?

(Y. H. Oh et al,2021)

03

特殊安全和可靠性需求

一些負載由于要滿足特殊安全性的需求，需要通過硬件資源與其他的負載進行分離以達到確保的安全性和實時性。

04

硬件靈活性帶來的映射空間巨大

NPU的架構形式非常豐富，而不同的硬件架構形式又決定了NPU可以支持的調度的靈活性。

圖 5 NPU的架構設計空間分類

(Stylianos I. Venieris et al., 2022))

硬件支持的調度靈活性通?？梢苑譃樗膫€維度：

T 即數據切塊大?。═ile sizes）:改變張量數據結構在多層次結構的緩沖區的每個級別中的數據切塊的邊界和寬高比。

O 即循環順序（Loop order）:改變每個數據切塊的循環計算結構中循環執行順序。

P 即循環并行化（Loop parallelization）:改變每個數據切塊的計算中從哪個張量維度（長、寬或者通道）進行并行化調度，這實際代表著數據的空間劃分（例如跨多個PE劃分）。

S 即數組形狀（Array shape）：改變加速器硬件資源即PE陣列的邏輯形狀和集群方式。這決定了數據切塊的數量和在PE陣列上映射的張量維度的最大切塊尺寸。

每一種靈活性都會帶來多余的硬件面積，因此絕大多數NPU硬件架構只能支持以上幾個維度當中的一個或幾個， 但是也會形成一個巨大的硬件映射空間，而針對于一個特定任務負載的每一個調度的決策在這個映射空間都是一個點，其結果都會得到不同的延時以及硬件利用率等性能。這些因素都給調度器和編譯器帶來了相當的復雜度。

圖 6 不同NPU架構支持的靈活性維度以及映射空間

(S.-C. Kao et al., 2022)

圖 7 不同深度神經網絡DNN工作負載

在不同的硬件的設計空間進行映射

2.2 多深度神經網絡DNN調度的目標和指標

在多個DNN工作負載運行時，對于調度機制來說有多個而不是單一的優化目標，包括滿足不同DNN網絡的實時性要求，高效的硬件映射以及調度的開銷/收益的平衡等等。

在評估調度方法時，常見具體使用性能指標以及計算公式如下公式所示：系統吞吐量(STP)，度量在多程序執行下，每個任務的性能下降的程度：

標準化周轉時間(NTT),用來度量單一任務執行的時間是否比多個任務執行時放緩：

NTT的算術平均值(ANTT)，即NTT的算數平均值：

公平性(Fairness)，在多任務環境下，相對于任務的孤立執行，衡量任務進度的平等程度：

上述式子中，Cisingle表示僅有第i個深度神經網絡DNN在NPU中執行所需的時間，Cimulti表示有n個深度神經網絡DNN在NPU中執行時，第i個深度神經網絡DNN執行所需要的時間，而PPi的表示如下式所示：

3. 多深度神經網絡DNN在NPU上的調度優化策略

3.1 單個深度神經網絡DNN調度優化方案

傳統上優化DNN調度的問題主要就是關注在單個核心NPU或GPU中調度單個模型到達最低的時延和最高的硬件利用率。

在DNN的運行分層從上到下使用了幾種優化技術，:

服務層級編排（orchestration）:它發生在軟件層級，當云服務接收數百萬DNN任務并將其分發到多個服務器時。

圖級并行化:在DNN編譯器中通常使用有向無環圖(Directed Acyclic Graph, DAG)，其中節點表示深度神經網絡中的算子，邊表示張量。這一級別的優化旨在充分實現圖中的并行性提高計算效率，因此通常是在軟件的編譯器中進行優化。

運行時級調度:旨在使用負載平衡和并發方式來優化算子之間的并行性上。在單一DNN模型推理中，這僅限于模型內的并行性， 而在多個DNN模型推理中，則可以是跨模型的并發。

算子級別:通過循環平鋪和緩沖區管理等機制來加速算子執行，以達到充分利用NPU計算和內存資源。在GPU中，這通常是作為內核級的調優完成，而在NPU中，則是由編譯器完成的。

3.2 多個深度神經網絡DNN調度優化策略

01

時分復用（time multiplex）

時分復用是一種常用的多神經網路調度的策略是時分多路復用。

在這種策略中，單個DNN模型使用整個加速器，然后轉換到另一個DNN網絡模型。這通常是通過每個DNN在不同的stream中來進行管理的。

時分多路復用調度策略也可以采用多種多樣的形式，例如可以是基于FIFO的、固定時間的、貪婪的或計算-存儲平衡的等等策略。其中計算-內存平衡調度器的目標是提高硬件利用率并降低總體延遲，當內存資源被完全占用時，它們會調度計算受限（computing-bounding）的算子到硬件中執行，而當計算能力被充分利用時，則調度內存受限（memory-bounding）的算子到硬件資源中執行。

圖 8 時分復用方式調度的例子示意

(E. Baek et al., 2020)

02

共部（co-location）

在多個同一類的網絡模型共享使用同一個硬件資源的方式叫做共部（Co-location），這可以通過在硬件架構中使用不同處理器模塊專用于多個同一類的網絡模型來實現。

例如在FPGA模型開發研究中，通常每個網絡或每種網絡類型都有一個專門的處理器模塊。但是共部（Co-location）不僅局限于FPGA上的專用處理器模塊，在具有多核的NPU硬件架構中，也可以將每個核都分配一個網絡模型。

圖 9每個模型都分配專用計算核心的

共部（co-location）調度策略

03

混合調度

共地址的調度方式也可以與時分多路復用方法相結合。如下圖所示，在NPU架構中有4個計算核心，其中左邊三個核心支持分時復用的調度策略，而最右側的核心則實現了共部調度策略；在這種情況下，調度可以獲得一些模型的時間復用優勢，同時保持一個模型的專用核心。這可能是決定論或安全性所需要的。

不同的方法需要不同的硬件和軟件來支持它們，這取決于不同的場景的需求，在設計中考慮運行時哪項指標是最重要的:吞吐量、延遲、公平性或確定性。

圖 10共部以及時分復用混合的調度策略

3.3多核架構NPU的調度策略

多核架構NPU的調度策略主要有:

基于幀的分割: 同一個深度神經網絡DNN模型推理時，可以并行處理多幀數據的推理，而不同幀則由不同的計算核心同時處理，模型參數可以在核心之間共享。

基于層的分割: 在運行深度神經網絡DNN對某一幀數據進行推理的時候，將DNN模型按照層進行分割后在多個計算核并行處理。這種方法提高了吞吐量，但是需要一個很好的平衡策略使整個網絡模型能夠恰好地分割到所有核心，否則會出現部分計算核心處于空閑狀態，從而降低了硬件領用率和推理時延。

共享輸入特征的特征映射分區:在這種方法中，通過將深度神經網絡DNN中的每一層的輸入特征（input feature）劃分到不同的核心并行運行?？紤]到數據可以廣播，因此帶寬顯著減少。由于每次只在每個核上處理輸入特征的一部分，因此在最后要做一些后處理來考慮邊緣對齊。

共享權重的特征映射分區:和前一種方式類似，只是劃分的對象變成了權重而非輸入特性。在深度神經網絡DNN中的每一層通過在不同計算核心中劃分權重來在多個計算核心中并行運行，同時帶寬會顯著減少。

總結

深度神經網絡模型DNN正以令人眼花繚亂的速度演進發展，隨著算法多樣性和更高算力的需求推動著NPU的硬件架構朝著規模越來越大，核心的數量也越來越多，而硬件的設計和驗證時間相比軟件更費時費力，這使得處于模型算法和硬件之間的調度系統變得越來越重要。

如何在硬件加速器上高效地運行多個DNN模型的策略選擇有很多，許多新的優化機會還在不斷涌現中。

然而，這些優化是有代價的，目前看起來最有前景的調度策略都需要硬件支持，如搶占表、權重的內存直接訪問（Direct Memory Access，DMA）、輸入特征的DMA或硬件運行時調度模塊。

因此在為未來的深度神經網絡DNN設計調度機制時，最大挑戰是需要協同軟件和硬件在成本、性能和未來工作負載的靈活性之間保持良好的平衡。

參考文獻:

[1] H. Kwon, P. Chatarasi, M. Pellauer, A. Parashar, V. Sarkar, and T. Krishna, ‘Understanding Reuse, Performance, and Hardware Cost of DNN Dataflows: A Data-Centric Approach Using MAESTRO’. arXiv, May 11, 2020. Accessed: Jul. 21, 2022. [Online]. Available: http://arxiv.org/abs/1805.02566

[2] L. Liu, Y. Wang, and W. Shi, ‘Understanding Time Variations of DNN Inference in Autonomous Driving’. arXiv, Sep. 12, 2022. doi: 10.48550/arXiv.2209.05487.

[3] F. Yu et al., ‘Automated Runtime-Aware Scheduling for Multi-Tenant DNN Inference on GPU’. arXiv, Nov. 28, 2021. doi: 10.48550/arXiv.2111.14255.

[4] Y. Choi and M. Rhu, ‘PREMA: A Predictive Multi-task Scheduling Algorithm For Preemptible Neural Processing Units’. arXiv, Sep. 06, 2019. Accessed: Jul. 19, 2022. [Online]. Available: http://arxiv.org/abs/1909.04548

[5] E. Baek, D. Kwon, and J. Kim, ‘A Multi-Neural Network Acceleration Architecture’, in 2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA), May 2020, pp. 940–953. doi: 10.1109/ISCA45697.2020.00081.

[6] J.-H. Kim, S. Yoo, S. Moon, and J.-Y. Kim, ‘Exploration of Systolic-Vector Architecture with Resource Scheduling for Dynamic ML Workloads’. arXiv, Jun. 07, 2022. Accessed: Aug. 12, 2022. [Online]. Available: http://arxiv.org/abs/2206.03060

[7] S. I. Venieris and C.-S. Bouganis, ‘f-CNNx: A Toolflow for Mapping Multiple Convolutional Neural Networks on FPGAs’, in 2018 28th International Conference on Field Programmable Logic and Applications (FPL), Dublin, Ireland, Aug. 2018, pp. 381–3817. doi: 10.1109/FPL.2018.00072.

[8] Y. H. Oh et al., ‘Layerweaver: Maximizing Resource Utilization of Neural Processing Units via Layer-Wise Scheduling’, in 2021 IEEE International Symposium on High-Performance Computer Architecture (HPCA), Seoul, Korea (South), Feb. 2021, pp. 584–597. doi: 10.1109/HPCA51647.2021.00056.

[9] F. Yu, D. Wang, L. Shangguan, M. Zhang, C. Liu, and X. Chen, ‘A Survey of Multi-Tenant Deep Learning Inference on GPU’. arXiv, May 24, 2022. Accessed: Dec. 15, 2022. [Online]. Available: http://arxiv.org/abs/2203.09040

[10] Stylianos I. Venieris, Chistos-Savvas Bouganis, Nicholas D. Lane, ‘Multi-DNN Accelerators for

Next-Generation AI Systems’. IEEE Computer Journal, 2022

[11] S.-C. Kao, H. Kwon, M. Pellauer, A. Parashar, and T. Krishna, ‘A Formalism of DNN Accelerator Flexibility’. arXiv, Jun. 06, 2022. Accessed: Aug. 17, 2022. [Online]. Available: http://arxiv.org/abs/2206.02987

作者簡介

Carlos Nossa，復睿微電子英國研發中心軟件架構師，常駐英國劍橋。曾在知名通信芯片公司參與多款物聯網芯片相關的開發和研究工作，負責期平臺軟件架構設計，并通過安全認證，實現海量發貨。

Shawn Ouyang，復睿微電子英國研發中心系統架構師，常駐英國劍橋。曾在某頂尖通信公司的海內外研究所從事近10年手機和物聯網芯片相關的開發和研究工作。

編輯：黃飛

?