描述

該項目介紹了我們對基于稱為 AdderNet 的新型深度學習模型的硬件推理加速器設計和優化的研究。通過用絕對和 (SAD) 內核替換計算密集型卷積 (CONV) 操作，可以通過具有成本效益的加法器/減法器電路消除大量乘法器，這可以提高計算吞吐量，因為硬件限制。我們在 FPGA 設備上展示了基線 ResNet-20 實現 (CNN-ResNet-20) 和兩個 AdderNet 設計變體 (ADD-ResNet-20) 之間的比較研究。我們利用自動 HLS（高級綜合）和手動轉換將 SAD 操作映射到 Xilinx Zynq MPSoC 的 FPGA DSP 塊 (DSP48E2)。尤其是，當 DSP48 模塊配置為 SIMD（單指令多數據）模式時，我們可以用一個 DSP 模塊和最少的 LUT 邏輯資源支持至少兩個 SAD 操作。在這個研究階段，我們選擇使用一個 DSP 來支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結果鼓勵我們探索新的深度學習加速器設計策略，以利用新興的基于 SAD 內核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。我們選擇使用 1 個 DSP 支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結果鼓勵我們探索新的深度學習加速器設計策略，以利用新興的基于 SAD 內核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。我們選擇使用 1 個 DSP 支持 2 個 SAD 操作，以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，總共可以減少 45.43% 的 DSP 利用率。這些結果鼓勵我們探索新的深度學習加速器設計策略，以利用新興的基于 SAD 內核的 AdderNet 模型以及每個 DSP ≥4 SAD 的積極 SIMD 配置來提高推理吞吐量。

卷積神經網絡（CNN）已廣泛應用于計算機視覺任務領域。例如工業檢測、自主視覺和機器人檢測。然而，由于其大量的乘法運算和參數，很難將這些標準神經網絡部署到具有效率吞吐量和功耗的嵌入式設備中。作為一種解決方案，AdderNet 在深度神經網絡，尤其是卷積神經網絡 (CNN) 中使用這些大規模乘法，以獲得更便宜的加法以降低計算成本。

?

?

?

Function.1 CNN

?

Function.2 人工神經網絡

?

?

?

作為案例研究，我們選擇 ResNet-20-CIFAR10 作為基線設計。ResNet-20-CIFAR10的處理引擎如圖1所示。據我們所知，CNN 加速器有兩種通用方法：單個 PE 和多個 PE。在這項工作中，我們在應用程序中使用了多個 PE 以獲得更好的吞吐量。

?

?

自動 HLS 和手動轉換

Xilinx Vitis HLS 上的自動綜合：

Xilinx Vitis HLS 可以從 C++ 代碼自動生成 FPGA 項目。

對于 CNN-ResNet-20，綜合報告顯示該項目的硬件符合我們的目的。

對于 ADD-ResNet-20，合成報告并沒有遵循我們之前的目的，因為 Vitis HLS 中的 C 合成不支持將 DSP48 配置為 SIMD 模式。

我們的解決方案：

將 SAD 操作設計為 C++ 中的獨立函數。

替換 Xilinx Vitis HLS 生成的 Verilog 源文件中的 SAD 代碼。

在 Xilinx Vivado 中重新綜合該項目。

此外，通過編輯 SAD 代碼，我們可以為 DSP48E2 配置更多選項。

?

?

Batch Normalization 融合可以減少計算量，并為模型量化提供更簡潔的結構。

如 Function.3 和 4 所示，將細化權重應用于卷積層作為原始推理。但是考慮左邊顯示的加法器層的功能，作為卷積添加到函數中的細化權重不能用作卷積層。

由于乘法和加法的開銷，這個函數不能提供 AdderNet 的硬件優勢。

為了避免這種開銷，我們使用額外的 for 循環來處理乘法和加法的開銷，這將花費更多的時鐘周期和硬件。

?

?

?

DSP配置方法

在本節中，將介紹兩種 DSP48E2 配置方法：

方法 a：利用與 CONV 相同數量的 DSP，但與方法 b 相比，LUT 更少。

方法 b：利用一半的 DSP 作為 CONV，但與方法 a 相比，LUT 更多。

?

?

?

該報告顯示，通過比較解決方案 a、解決方案 b 和 ResNet-20 基線的結果，我們的方法可以以增加 10% 的 LUT 和 5% 的推理時間開銷為代價，減少大約 45% 的 DSP 利用率。

?

?

?