醫(yī)學(xué)影像人工智能協(xié)作平臺(tái)，基于NVIDIA GPU Cloud (NGC) 的遠(yuǎn)程醫(yī)學(xué)影像診斷平臺(tái)，使高精度遠(yuǎn)程診療成為現(xiàn)實(shí)，幫助逐步實(shí)現(xiàn)醫(yī)療資源均衡化。

“互聯(lián)網(wǎng)+醫(yī)學(xué)影像”AI助推實(shí)現(xiàn)醫(yī)療資源均衡化

目前，我國(guó)公共醫(yī)療資源分配不均，大型醫(yī)院醫(yī)療資源緊張，同時(shí)小型醫(yī)院醫(yī)療資源又未得到充分發(fā)揮。分級(jí)診療是醫(yī)療資源均衡化的一個(gè)突破口，通過整合醫(yī)療服務(wù)的需求入口，使各級(jí)醫(yī)療服務(wù)機(jī)構(gòu)能夠更好地發(fā)揮自身價(jià)值，提高醫(yī)療體系的整體服務(wù)效率。

在就診過程中，醫(yī)學(xué)影像結(jié)論有著重要的作用，而AI 輔助影像診斷可以有效地提升醫(yī)療資源運(yùn)轉(zhuǎn)效率；此外，醫(yī)學(xué)影像極具互聯(lián)網(wǎng)基因，在人工智能提升醫(yī)療能力的過程中，將首先推進(jìn)實(shí)現(xiàn)分級(jí)診療。

翼展醫(yī)療集團(tuán)是一家提供智慧醫(yī)學(xué)影像解決方案的專業(yè)醫(yī)療機(jī)構(gòu)，同時(shí)也是一家專注于醫(yī)學(xué)影像人工智能應(yīng)用研發(fā)的高科技企業(yè)。翼展醫(yī)療集團(tuán)通過建立人工智能開放協(xié)作平臺(tái)、在線云診斷平臺(tái)、翼展醫(yī)學(xué)影像診斷中心、影像醫(yī)生集團(tuán)、多病種早篩中心，打造了行業(yè)獨(dú)有的多維生態(tài)進(jìn)化體系，使高精度遠(yuǎn)程診療成為現(xiàn)實(shí)，逐步幫助醫(yī)療資源均衡化。借助NVIDIA GPU Cloud (NGC)，翼展醫(yī)療集團(tuán)解決了其在平臺(tái)建立之初遭遇的深度學(xué)習(xí)團(tuán)隊(duì)機(jī)時(shí)分配困難和平臺(tái)兼容性較差等問題，使其平臺(tái)變得更加靈活，且具備強(qiáng)大的兼容性，能夠易于部署及運(yùn)維人工智能應(yīng)用產(chǎn)品。

從平臺(tái)建立到運(yùn)維 翼展遭遇重重挑戰(zhàn)

為了更好地落地AI產(chǎn)品，貼近臨床，翼展醫(yī)療集團(tuán)打造了人工智能開放協(xié)作平臺(tái)，為人工智能企業(yè)和創(chuàng)業(yè)團(tuán)隊(duì)提供人工智能產(chǎn)品的發(fā)布和搭建平臺(tái)，在云診斷平臺(tái)集成各病種AI診斷工具，主要分為高端篩查及專項(xiàng)篩查兩個(gè)方向；同時(shí)，通過建立人工智能開放協(xié)作平臺(tái)、在線云診斷平臺(tái)、翼展醫(yī)學(xué)影像診斷中心、影像醫(yī)生集團(tuán)、多病種早篩中心，打造了行業(yè)獨(dú)有的多維生態(tài)進(jìn)化體系，為人工智能產(chǎn)品提供了充足的落地應(yīng)用場(chǎng)景，使其更加貼近臨床，更好地服務(wù)于醫(yī)生和患者，使高精度遠(yuǎn)程診療成為現(xiàn)實(shí)，逐步幫助醫(yī)療資源均衡化。

然而，在平臺(tái)搭建之初，翼展醫(yī)療集團(tuán)遭遇了諸多挑戰(zhàn)。

從頭搭建機(jī)器學(xué)習(xí)平臺(tái)——費(fèi)時(shí)費(fèi)力

2016年，翼展開始進(jìn)行醫(yī)學(xué)影像人工智能應(yīng)用的研發(fā)。由于當(dāng)時(shí)公有云廠商能夠提供GPU實(shí)例的還非常少，于是翼展選擇自行采購(gòu)硬件設(shè)備搭建服務(wù)器。其首先配置了一臺(tái)雙卡工作站，按照網(wǎng)上教程一步步安裝ubuntu，NVIDIA GPU驅(qū)動(dòng)程序，CUDA，cuDNN，但最后編譯Caffe的時(shí)候發(fā)現(xiàn)庫(kù)版本不對(duì)，只能從頭配置，花費(fèi)了一周左右的時(shí)間才開始正式訓(xùn)練模型。之后，翼展升級(jí)了服務(wù)器，采用由第三方廠商配置好操作系統(tǒng)和底層驅(qū)動(dòng)的8卡服務(wù)器，但隨著內(nèi)部團(tuán)隊(duì)成員的增加，新的問題又隨之而來。

機(jī)器學(xué)習(xí)團(tuán)隊(duì)需求各不同，機(jī)時(shí)分配遇窘境

起初，翼展團(tuán)隊(duì)中只有一名專職深度學(xué)習(xí)專家，可以在雙卡工作站做小批量數(shù)據(jù)預(yù)訓(xùn)練，然后在服務(wù)器上做大規(guī)模訓(xùn)練，本地和遠(yuǎn)程環(huán)境可以設(shè)置成一樣的。但隨著團(tuán)隊(duì)成員的增加，就開始需要分配訓(xùn)練機(jī)時(shí)了。由于每個(gè)人的項(xiàng)目不同，使用的模型不同，底層依賴的深度學(xué)習(xí)框架及庫(kù)版本也不同，一個(gè)統(tǒng)一的完全沒有隔離的環(huán)境越來越不能滿足日常訓(xùn)練的要求。曾經(jīng)出現(xiàn)過的事故是，有模型需要將Python版本升級(jí)，升級(jí)之后導(dǎo)致其他人的模型無法正常工作。

翼展采取了嚴(yán)格的規(guī)章制度，劃分用戶空間，每個(gè)人需要的 Python執(zhí)行環(huán)境、深度學(xué)習(xí)框架及第三方庫(kù)都自行安裝在各自的用戶空間。對(duì)于GPU驅(qū)動(dòng)程序及CUDA等底層庫(kù)，則只能由管理員來進(jìn)行安裝和升級(jí)。升級(jí)前還須要做好兼容性測(cè)試，一旦不同用戶的模型有沖突便難以解決。后來隨著開始租用公有云的GPU實(shí)例，情況得到了一定程度的好轉(zhuǎn)，不過在公有云上安裝配置環(huán)境依然費(fèi)時(shí)費(fèi)力。

深度學(xué)習(xí)模型多種多樣，平臺(tái)難以招架

2017年，翼展開始布局人工智能開放協(xié)作平臺(tái)，為人工智能企業(yè)和創(chuàng)業(yè)團(tuán)隊(duì)提供醫(yī)學(xué)影像人工智能產(chǎn)品發(fā)布和運(yùn)行平臺(tái)。該平臺(tái)需要接入不同廠商的產(chǎn)品，有的產(chǎn)品是通過API接入，后臺(tái)深度學(xué)習(xí)模型的運(yùn)行環(huán)境由廠商自行維護(hù)；有的則是廠商直接將模型發(fā)布給翼展，由其提供運(yùn)行時(shí)環(huán)境，并且模型的迭代速度很快，新版本模型底層依賴版本也會(huì)相應(yīng)變化，每次升級(jí)的操作都不只是簡(jiǎn)單地部署一個(gè)新模型，還需要同時(shí)將運(yùn)行時(shí)環(huán)境一并升級(jí)，而且工程團(tuán)隊(duì)通常至少需要同時(shí)維護(hù)一套測(cè)試環(huán)境和生產(chǎn)環(huán)境。雖然當(dāng)時(shí)工程團(tuán)隊(duì)已經(jīng)采用了DevOps，有了Docker的運(yùn)維經(jīng)驗(yàn)，但是管理GPU云上實(shí)例及各種機(jī)器學(xué)習(xí)框架不同版本仍然是一個(gè)巨大的挑戰(zhàn)——直到NGC的出現(xiàn)。

“2017年翼展開始布局醫(yī)學(xué)影像人工智能開放協(xié)作平臺(tái)后，我們需要部署的機(jī)器學(xué)習(xí)應(yīng)用越來越多，手工方式的落后管理必然要被工程化管理所取代。雖然這個(gè)時(shí)候工程團(tuán)隊(duì)已經(jīng)擁抱DevOps，有了Docker的運(yùn)維經(jīng)驗(yàn)，不過管理 GPU云上實(shí)例及各種機(jī)器學(xué)習(xí)框架不同版本仍然是一個(gè)噩夢(mèng)…直到NGC的出現(xiàn)。”

--- 邊海鋒 翼展醫(yī)療集團(tuán) CTO

“NGC提供流行常用的第三方兼容GPU、符合NGC標(biāo)準(zhǔn)和最佳實(shí)踐的高性能計(jì)算應(yīng)用容器，使用戶可以方便的在最短的時(shí)間內(nèi)啟動(dòng)和運(yùn)行起來。這正是我們一直在尋找的東西。看到這個(gè)介紹的吋候，我們第一時(shí)間在NGC網(wǎng)站進(jìn)行了注冊(cè)，并且很快在自己的服務(wù)器上pull了一個(gè)NGC容器試用，發(fā)現(xiàn)真的非常簡(jiǎn)單。”

--- 謝鋒波 翼展醫(yī)療集團(tuán) 高級(jí)研發(fā)總監(jiān)

NGC帶來簡(jiǎn)單高效的解決方案

NVIDIA GPU Cloud (NGC)是針對(duì)深度學(xué)習(xí)和科學(xué)計(jì)算優(yōu)化的基于GPU加速的云平臺(tái)。在當(dāng)前的發(fā)行版本中，NGC包含了NGC容器，NGC容器注冊(cè)，NGC網(wǎng)站，以及用以運(yùn)行深度學(xué)習(xí)容器的平臺(tái)軟件。

NGC容器旨在提供一個(gè)軟件平臺(tái)，該平臺(tái)基于最小的操作系統(tǒng)要求、安裝在服務(wù)器或工作站上Docker和驅(qū)動(dòng)，通過NGC容器注冊(cè)里的NGC容器提供所有的應(yīng)用程序和SDK軟件。

NGC管理著一份目錄，包含了完全集成和優(yōu)化的深度學(xué)習(xí)框架容器，適用于單GPU以及多GPU配置環(huán)境。這些容器包括：CUDA工具包，DIGITS工作流，以及以下深度學(xué)習(xí)框架：NVCaffe, Caffe2, Microsoft Cognitive Toolkit (CNTK), MXNet, PyTorch, TensorFlow, Theano 和 Torch。這些框架容器以開箱即可用的方式交付，包含了所有必須的依賴，比如CUDA運(yùn)行時(shí)環(huán)境、 NVIDIA庫(kù)和運(yùn)行系統(tǒng)環(huán)境。每個(gè)框架容器鏡像還包含了框架源代碼，以支持用戶自定義修改和增強(qiáng)功能，以及完整的軟件開發(fā)棧。

NGC也提供流行常用的第三方兼容GPU、符合NGC標(biāo)準(zhǔn)和最佳實(shí)踐的高性能計(jì)算應(yīng)用容器，使用戶可以方便的在最短的時(shí)間內(nèi)啟動(dòng)和運(yùn)行起來。基于NGC，工程師們能夠快速啟動(dòng)應(yīng)用開發(fā)程序，使應(yīng)用程序盡早開始運(yùn)行，減少了通常與設(shè)置軟件相關(guān)的復(fù)雜性以往需要幾周的工作，現(xiàn)在幾分鐘就可以解決。

NVIDIA每月對(duì)這些深度學(xué)習(xí)的容器進(jìn)行更新，以確保提供最佳性能。在深度學(xué)習(xí)框架容器的基礎(chǔ)上，NGC也提供了一系列高性能計(jì)算可視化應(yīng)用容器，采用支持業(yè)界領(lǐng)先的可視化工具，包括集成了NVIDIA Index 立體渲染的ParaView, NVIDIA OptiX 光線追蹤庫(kù)和NVIDIA Holodeck，以實(shí)現(xiàn)高質(zhì)量可交互的實(shí)時(shí)視覺效果。

NGC既可以在自建服務(wù)器上使用，也可以在其他公有云上使用。如今有新的合作伙伴加入申請(qǐng)機(jī)器學(xué)習(xí)訓(xùn)練環(huán)境，或者新的項(xiàng)目要啟動(dòng)，亦或新的模型要部署，翼展醫(yī)療集團(tuán)的運(yùn)維工程師只需對(duì)方告知其深度學(xué)習(xí)框架的版本，然后在NGC網(wǎng)站找到對(duì)應(yīng)的鏡像，運(yùn)行一個(gè)docker pull命令，然后就可以悠閑的去喝杯咖啡了。

翼展醫(yī)療集團(tuán)如今正在做的事情，是利用NGC的自定義容器功能，將自研的深度學(xué)習(xí)應(yīng)用發(fā)布為 NVIDIA-docker鏡像，這樣可以進(jìn)一步簡(jiǎn)化應(yīng)用部署，同時(shí)可以與工程團(tuán)隊(duì)其他項(xiàng)目共用一套持續(xù)集成及運(yùn)維的流程。

目前翼展的醫(yī)學(xué)影像人工智能協(xié)作平臺(tái)已上線十余種人工智能產(chǎn)品，包括用于血管壁分割及斑塊成分分析的磁共振斑塊成像解決方案、CT下肺結(jié)節(jié)篩查、DR胸肺常見疾病篩查、DR智能報(bào)告自動(dòng)生成系統(tǒng)等，為合作醫(yī)院及各類醫(yī)療機(jī)構(gòu)提供了有力的支撐，促進(jìn)診斷能力提升。