使用 PYNQ 可以輕松在 FPGA 上實現加速 AI/ML，而無需編寫一行 HDL！讓我們看看如何做到這一點...

介紹

機器學習是近幾年的熱門話題，有許多用例和應用。Zynq 和 Zynq MPSoC 等異構 SoC 則更具顯著優勢，因為它們允許在可編程邏輯內實現推理網絡。

在 PL 中實現推理網絡可顯著提高性能。當然，對于那些不熟悉機器學習的人來說，很難知道從哪里開始，尤其是如果想使用可編程邏輯來加速性能。

這就是 Pynq 框架的作用所在，它允許我們使用 Python 等更高級的語言，“訪問”可編程邏輯來執行 ML 加速。

對于今天項目，我們將使用適用于 Pynq Z2、Z1 和 Ultra96 的Quantized / Binary Neural Network（BNN）。

該項目的重點是新參數的訓練和應用。

在 PYNQ 上配置 BNN

Pynq 映像啟動后，使用 Web 瀏覽器通過地址http://pynq:9090連接到 Pynq（如果要求輸入密碼，請輸入“xilinx”）

要安裝 BNN，需要使用終端窗口，可以在瀏覽器中通過選擇新建 -> 終端打開一個新的終端

我們將使用來自 NTNU 的 Xilinx BNN 存儲庫的 Fork，此 Fork 可以很好地展示如何訓練新網絡。

下載和安裝需要幾秒鐘。

完成后，將看到一個新的 BNN 文件夾，其中有幾個新的notebook。

LFC - 全連接網絡，專為 28 x 28 灰色圖像輸入而設計

CNV - 專為 RGB 運算設計的卷積網絡，32 x 32 輸入

兩者的結構如下所示。

測試安裝

安裝 BNN 后，下一步是運行一個（或多個）示例以確保安裝可以正常運行。

對于這個例子，決定運行 Road-Signs-Batch。這個notebook使用卷積網絡對路標進行分類。

此notebook僅針對由一個標志組成的小圖像進行測試，之后的測試將使用包含一個標志和其他圖像的大圖像。在這種情況下，算法會檢測標志并對其進行分類。

該算法的第一遍測試會產生幾個潛在的符號候選者，如下所示。

對該初始圖像應用閾值后可正確識別最終的標志上。

當然，我們可以在應用程序中使用我們自己提供的網絡。

訓練自己的網絡

要創建我們自己的網絡，我們需要幾樣東西，其中首先需要的是一組正確標記的訓練數據。在這個例子中，我們將使用 fashion mnist 數據集訓練神經網絡，使其能夠識別服裝。

當我們為覆蓋層構建新網絡時，最重要的是確保我們訓練的網絡與我們希望使用的覆蓋層上的網絡相同。

Xilinx BNN GitHub 提供了一個訓練目錄，其中包含許多可用于創建新網絡的 Python 腳本，許多腳本可以充當模板。

在 BNN github 的 BNN->SRC->Training 目錄下，會發現許多可以幫助訓練新網絡的腳本

其中包括

lfc.py - 描述 LFC 網絡結構

cnv.py - 描述 CNV 網絡結構

binary_net.py-包含許多有助于訓練的函數

finnthesizer.py-執行二進制格式的轉換

mnist.py - 訓練 LFC 網絡進行 mnist 字符識別 - LFC 網絡的良好模板

cifar10.py - 為 cifar 圖像表征網絡訓練 CNV 網絡 - CNV 網絡的良好模板

在這個例子中，將使用 fashion-mnist.py，它是 mnist.py 的改編版，用于訓練 LFC 網絡來檢測和分類服裝。

為了進行此訓練們需要以下東東：

AWS 或高端 GPU

耐心

一旦決定了訓練環境，需要做的第一件事是設置 SW 環境，確保安裝了以下內容。

Python - 包括 NumPy 和 SciPy

Theano - 用于處理多維數組的 Python 庫

PyLearn2——機器學習的 Python 庫

Lasange - 用于構建和訓練神經網絡的 Python 庫

在包含 GPU 的宿主機上使用以下命令：

sudoapt-getinstallgitpython-devlibopenblas-devliblapack-devgfortran-y
wgethttps://bootstrap.pypa.io/get-pip.py&&pythonget-pip.py--user
pipinstall--usergit+https://github.com/Theano/[email protected]
pipinstall--userhttps://github.com/Lasagne/Lasagne/archive/master.zip
pipinstall--usernumpy==1.11.0
gitclonehttps://github.com/lisa-lab/pylearn2$cdpylearn2
pythonsetup.pydevelop--user

安裝軟件環境后，下一步就是下載訓練圖像和標簽

可以使用以下命令下載這些。

wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-images-idx3-ubyte.gz;gunzip-ftrain-images-idx3-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/train-labels-idx1-ubyte.gz;gunzip-ftrain-labels-idx1-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-images-idx3-ubyte.gz;gunzip-ft10k-images-idx3-ubyte.gz
wget-nchttp://fashion-mnist.s3-website.eu-central-1.amazonaws.com/t10k-labels-idx1-ubyte.gz;gunzip-ft10k-labels-idx1-ubyte.gz

這樣我們就可以開始訓練了。

pythonfashion-mnist.py

訓練完成后，我們將擁有經過訓練的網絡 npz 文件。

使用 WinSCP 將 npz 文件傳輸到 Pynq。

同時將 binary_net、fashino-mnist-gen-binary-weights 和 finnthesizer python 腳本一并上傳。

在 PYNQ 上實現

在 Pynq 上運行新網絡之前，需要將權重轉換為二進制格式。

通過運行下面的 Python 腳本來實現這一點

pythonfashion-mnist-gen-binary-weights.py

這將創建一個包含所有權重的新目錄。

完成后我們就可以開始創建我們自己的notebook。

在 BNN 區域下創建notebook，執行以下操作:

設置根目錄和parameter目錄 - 在parameter目錄中，將找到不同訓練網絡的所有網絡參數。

將 fashion-mnist 生成的權重傳輸到 param 目錄中。不過，只需要在第一次運行此腳本時執行此操作。

一旦將參數加載到 params 目錄中后，我們就要檢查它們是否可以通過 LFC 網絡的 available_params 函數訪問。

如果安裝正確，還應顯示 fashion-mnist-lfc 以及最初的兩個網絡。

最后階段是使用參數運行推理。為此，我們需要加載圖像，將其轉換為 mnist 圖像格式并將其應用到網絡。

然后我們可以輸出推理的結果并顯示圖像以查看預測是否正確。

正如所看到的，它從圖像輸入中正確地識別出了一條褲子。

為了了解網絡的總體準確度，我們可以下載并運行 10K 張標記圖像。

然后我們可以批量處理圖像并計算網絡的整體準確度。

這相當于準確率略低于 85%，在線搜索時準確率為 84.87%，與其他fashion-MNIST 準確率相比，這略低于其他的，其他實現的準確率在 88-92% 范圍內，具體取決于網絡。