近日Xilinx，AWS還有Spline.AI 聯(lián)合開發(fā)了開發(fā)X射線分類深度學(xué)習(xí)模型和參考設(shè)計。團隊依靠30,000張肺炎圖像和500張COVID-19圖像來訓(xùn)練深度學(xué)習(xí)模型，從而實現(xiàn)了高精度和高預(yù)測速度。該訓(xùn)練數(shù)據(jù)將提供給包括美國國家衛(wèi)生院，斯坦福大學(xué)和麻省理工學(xué)院在內(nèi)的公共研究和醫(yī)療機構(gòu)。對于開發(fā)者而言，該參考設(shè)計已經(jīng)開源，點擊閱讀原文即可獲得。

設(shè)計使用Amazon SageMaker進行訓(xùn)練，并使用AWS IoT Greengrass從云部署到邊緣，在邊緣側(cè)利用VITIS AI進行部署，通過PYNQ開源框架和PYNQ-DPU可以快速的實現(xiàn)跨平臺部署。從而實現(xiàn)了遠程模型更新，分布式推斷擴展的能力。

方案簡介

當(dāng)前，廣泛用于檢測COVID-19的測試方法是RT-PCR或?qū)崟r聚合酶鏈反應(yīng)。盡管RT-PCR是一種標準的診斷技術(shù)，但它也有許多缺點。RT_PCR顯示出很高的假陰性率，其過程既費時又昂貴。在這次危機期間，從許多實驗中發(fā)現(xiàn)，從影像學(xué)檢查（例如CT掃描和X射線）檢測肺炎和COVID-19感染非常有效。

本方案基于Vitis-AI、ZCU104驗證平臺和AWS-IoT GreenGrass，其中Vitis-AI用于COVID-19深度學(xué)習(xí)模型的轉(zhuǎn)換、量化和編譯，將模型轉(zhuǎn)換為DPU可運行的.elf文件；ZCU104驗證平臺完成基于X-Ray圖像的COVID-19 CNN在線檢測或用作AWS-IoT GreenGrass的邊緣計算設(shè)備，完成COVID-19的邊緣實時檢測。

部署流程

已經(jīng)安裝好Vitis-AI開發(fā)環(huán)境的Ubuntu主機，建議使用Ubuntu16.04，且具備較高的性能用于CNN等深度學(xué)習(xí)模型的訓(xùn)練。

安裝了PYNQ 2.5鏡像且已完成DPU-PYNQ升級的Xilinx ZCU104驗證板；

主要流程

（1）訓(xùn)練Keras CNN肺炎模型以生成.h5的模型文件；

（2）使用Xilinx Vitis-AI對預(yù)訓(xùn)練的.h5模型進行模型轉(zhuǎn)換、量化和編譯，以生成DPU可部署的.elf可執(zhí)行文件；

（3）直接在Xilinx ZCU104驗證板的PYNQ-DPU開發(fā)環(huán)境中編寫應(yīng)用程序，對輸入的肺部X-Ray圖像進行COVID-19在線實時檢測；也可使用AWS-IoT GreenGrass完成Xilinx ZCU104對COVID-19的邊緣端實時檢測（需要將Xilinx ZCU104集成為AWS-IoT GreenGrass的邊緣計算設(shè)備）。

方案已預(yù)先提供了兩組深度學(xué)習(xí)模型，分別實現(xiàn)基于胸部X-Ray圖像的肺炎和COVID-19預(yù)測：

（1）Pnem1-150x150圖像尺寸的肺炎檢測模型；

（2）Pnem2-224x224圖像尺寸的肺炎檢測模型；

（3）Pnem3-150x150圖像尺寸的肺炎和COVID-19檢測模型；

（4）Pnem4-224x224圖像尺寸的肺炎和COVID-19檢測模型；

上述提供的模型可直接用于部署，開發(fā)者可以快速體驗COVID-XS帶來的好處。

后記

在本參考設(shè)計中，通過PYNQ開源框架，用戶可以：

方便的安裝AWS IoTGreengrass等第三方服務(wù)，加快原型驗證開發(fā)

無縫跨平臺移植，用戶如果有Ultra96等其他支持PYNQ-DPU框架的平臺，不妨嘗試部署。

原文標題：開源方案 | PYNQ-DPU框架下的人工智能醫(yī)學(xué)圖像方案

文章出處：【微信公眾號：XILINX技術(shù)社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq