在前不久的 Baidu Create 2019 百度 AI 開發(fā)者大會上，Apollo 發(fā)布了業(yè)內(nèi)首創(chuàng)的 AVP 專用車載計算平臺——百度 AVP 專用量產(chǎn)計算單元 ACU-Advanced。這是一篇“硬核”的技術(shù)文章。正是這些后臺的“硬核”技術(shù)，成就了令人炫目的自動駕駛。本文中介紹的相關(guān)技術(shù)已經(jīng)落實在 Valet Parking 產(chǎn)品中的量產(chǎn) ACU 硬件上。

人工智能技術(shù)是自動駕駛的基礎(chǔ)，算法、算力和數(shù)據(jù)是其三大要素。本文探討的就是其中的“算力”。算力的高低，不僅直接影響了行駛速度的高低，還決定了有多大的信息冗余用來保障駕駛的安全。算力最直觀地體現(xiàn)在硬件上，而汽車對自動駕駛的控制器有特殊的要求。實踐中遇到的挑戰(zhàn)是，多種多樣的加速需求和有限的硬件資源的矛盾。需求的來源既包括深度學(xué)習(xí)前向推測、也包括基于規(guī)則的算法。硬件資源受限包括了：FPGA 資源受限和內(nèi)存帶寬受限。

算法工程師采用浮點數(shù) float32 對模型進行訓(xùn)練，產(chǎn)出的模型參數(shù)也是浮點型的。然而在我們使用的 FPGA 中，沒有專用的浮點計算單元，要實現(xiàn)浮點數(shù)計算，代價很大，不可行。使用 int8 計算來逼近浮點數(shù)計算，也即實現(xiàn)量化計算，這是需要解決的第一個問題。

在量化前，需要完成1000000次 float32 的乘法。量化成 int8 后，需要完成1000000次 int8 的乘法，和30000次量化、反量化乘法。由于量化和反量化占的比重很低，量化的收益就等于 int8 取代 float32 乘法的收益，這是非常顯著的。

FPGA 片上存儲非常受限，對于絕大多數(shù)的算子，不可能將輸入或者輸出完整緩存到片上內(nèi)存中。而是從內(nèi)存中一旦讀取足夠的數(shù)據(jù)，就開始計算。一旦計算到足夠多，就立即把結(jié)果寫到內(nèi)存。和內(nèi)存數(shù)據(jù)的流式交互是個公共的需求，我們開發(fā)了能兼顧所有算子的 DMA 的接口。

只有對于單次計算耗時很長、或調(diào)用非常頻繁的獨立任務(wù)算子，我們才為其定制單獨 DMA 的模塊，取得的收益是，這個算子可以通過多線程調(diào)度和其它 FPGA 算子并行計算。這是綜合收益和代價后，做出的以資源換時間的折衷。

Int8 的計算，可以使用 DSP 或其它邏輯資源來完成。邏輯資源有更多的用途，所以我們占用 DSP 來完成 int8 的乘累加計算。FPGA 內(nèi)部的 DSP48E2 可以接受 27bit 的乘數(shù)?？梢园褍蓚€ int8 的乘數(shù)排列在高 8bit 和低 8bit，進行一次乘法后，再兩個乘積完整的分離出來。這樣，就實現(xiàn)了單個 DSP 一個時鐘周期完成了兩個乘法，達到了算力倍增的效果。

Deconv 和 conv 是網(wǎng)絡(luò)中計算量最大的兩個算子，計算資源復(fù)用收益很大。但它們計算形式上差別很大，直接復(fù)用計算資源很困難。我們在理論上進行突破，實現(xiàn)了通用的資源復(fù)用的方法。簡言之，SDK 要對 conv 的計算參數(shù)進行擴充以兼容 deconv，在計算 deconv 時，需要對卷積核進行分拆、重排，偽裝成 conv。FPGA 計算完畢后，增加少量邏輯對結(jié)果進行修飾。

ARM 計算：有些算子，比如多通道的 softmax、concat、split 等，出現(xiàn)頻率很低，數(shù)據(jù)量不大，對整體幀率影響很小，還有些算子比如 PSRoiPooling、計算區(qū)域不確定、數(shù)據(jù)不能保證對齊，非常不適合 FPGA 加速。把這兩類算子放在 ARM 上實現(xiàn)。在 ARM 上對計算影響最大的單個因素是緩存命中率。通過數(shù)據(jù)重排、改變遍歷順序等，提高緩存命中率，可以把表觀 ARM 算力提高幾十倍。

NEON 加速：采用 NEON 指令可以對多通道的 Softmax 算子有效加速，加速比雖然不及 FPGA，但相對于直接采用未優(yōu)化的 C++ 的代碼在 ARM 上執(zhí)行，效果可以提升數(shù)倍。其它對齊的計算，大多可以通過 NEON 處理器加速數(shù)倍。

MaliGPU：我們目前使用 Xilinx ZU 系列的 FPGA，自帶 MaliGPU 400，原本被設(shè)計用來顯示時渲染，并不支持 CUDA、OpenCL 等常用庫。經(jīng)過特殊的驅(qū)動方式，我們做到可以利用它實現(xiàn)一些受限的逐像素算子。我們實際計算使用的硬件資源包括了 FPGA、MaliGPU、ARM 主處理器、ARM Neon 協(xié)處理器4種。通過 ARM（主處理其和協(xié)處理器）和 MaliGPU 實現(xiàn)對部分算子進行承接，有效緩解了 FPGA 的資源壓力。

而采用動態(tài)量化，搜索量化尺度和進行量化，需要分散在相鄰的兩個算子中實現(xiàn)。為了保證精度，中間結(jié)果需要以半浮點（float16）形式表示。這帶來兩個問題：CPU 并不能直接對 FP16 的數(shù)據(jù)進行轉(zhuǎn)換或計算，所以需要 FPGA 提供額外的算子，提供快速的 float32 / int8 和 float16 轉(zhuǎn)換。這些額外的算子，是 CNN 本身不需要的，這構(gòu)成了浪費。Float16 需要的緩存比 int8 大了一倍。浪費了 FPGA 的存儲資源。

而靜態(tài)量化，離線提供了固定的量化參數(shù)，中間計算結(jié)果以量化后的 int8 形式來表示。以上的浪費都得以避免。盡管靜態(tài)量化對模型訓(xùn)練做額外的要求，我們最終決定切換到靜態(tài)量化。通過 SDK 將各種參數(shù)進行變換和合并，單個 conv 算子可以完成最多支持4個算子的組合 conv + batchnorm + scale + relu。

靜態(tài)量化降低了內(nèi)存吞吐，這也是我們放棄動態(tài)量化易用性的一個原因。任務(wù)的幀率是峰值算力、各算子算力、支持的算子種類三個因素復(fù)合作用的結(jié)果。以上技術(shù)已經(jīng)用到了 ACU 硬件中，把百度 Valet Parking 產(chǎn)品的幀率在數(shù)量級上進行了提高。接下來，我們會陸續(xù)發(fā)布更多這樣的“硬核”技術(shù)文章，讓更多開發(fā)者們更加細致地了解 Apollo 自動駕駛背后的技術(shù)。