NVIDIA Clara Holoscan 為開(kāi)發(fā)人員提供了一個(gè)可擴(kuò)展的醫(yī)療設(shè)備計(jì)算平臺(tái)，以創(chuàng)建人工智能微服務(wù)并實(shí)時(shí)提供見(jiàn)解。該平臺(tái)優(yōu)化了數(shù)據(jù)管道的每個(gè)階段：從高帶寬數(shù)據(jù)流和基于物理的分析到加速 AI 推理和圖形可視化。

目前可用的 NVIDIA Clara AGX Developer Kit 將 AGX Xavier SoC的高效基于Arm的嵌入式計(jì)算與 NVIDIA ConnectX-6 network processor 強(qiáng)大的 NVIDIA RTX 6000 GPU 和100GbE連接相結(jié)合。這為下一代智能、軟件定義的嵌入式醫(yī)療設(shè)備帶來(lái)了實(shí)時(shí)AI加速。開(kāi)發(fā)者使用 Clara AGX開(kāi)發(fā)者工具包進(jìn)行外科視頻應(yīng)用，如AI增強(qiáng)內(nèi)窺鏡檢查、腹腔鏡檢查或其他微創(chuàng)手術(shù)，需要在其視頻處理路徑中盡可能減少端到端延遲。客戶今天可以在 Clara AGX開(kāi)發(fā)工具包上使用 Clara Holoscan SDK v0.1 ，2022年下半年可以在下一代開(kāi)發(fā)工具包上使用 Clara Holoscan SDK v0.1 。

手術(shù)視頻的需求要求內(nèi)窺鏡捕獲的圖像與投影到監(jiān)視器上的圖像之間具有一致且可靠的低延遲。這為外科醫(yī)生提供了對(duì)工具的實(shí)時(shí)控制和對(duì)患者的監(jiān)控。

在典型的內(nèi)窺鏡系統(tǒng)中，圖像在內(nèi)窺鏡中的攝像機(jī)傳感器處數(shù)字化，由 FPGA 或 ASIC 序列化，并傳輸?shù)揭曨l處理器，在視頻處理器中寫入輸入幀緩沖器，進(jìn)行處理，寫入輸出幀緩沖器，然后串行傳輸?shù)奖O(jiān)視器。每個(gè)步驟都會(huì)給視頻管道增加延遲。希望添加高級(jí) GPU – 加速 AI 處理的開(kāi)發(fā)人員會(huì)面臨額外的傳輸延遲，因?yàn)樾枰獙?shù)據(jù)從視頻捕獲卡寫入系統(tǒng)內(nèi)存，然后通過(guò) CPU 傳輸和 PCIe 總線連接到［ZFBB］。

GPU 計(jì)算性能是英偉達(dá) NTV2 SDK 16.1 全息掃描平臺(tái)的一個(gè)關(guān)鍵組成部分。為了優(yōu)化基于 GPU 的視頻處理應(yīng)用程序， NVIDIA 與 AJA Video Systems 合作，將其視頻捕獲卡系列與 Clara AGX 開(kāi)發(fā)工具包集成。 AJA 提供了一系列經(jīng)驗(yàn)證的專業(yè)視頻 I / O 設(shè)備。 NVIDIA 和 AJA 之間的合作關(guān)系導(dǎo)致自 Clara 發(fā)布以來(lái)， AJA NTV2 SDK 和設(shè)備驅(qū)動(dòng)程序中增加了 Clara AGX 開(kāi)發(fā)工具包支持。

AJA 驅(qū)動(dòng)程序和 SDK 現(xiàn)在為 NVIDIA GPU 提供 GPUDirect 支持。此功能使用遠(yuǎn)程直接內(nèi)存訪問(wèn)（ RDMA ）將視頻數(shù)據(jù)直接從捕獲卡傳輸?shù)?GPU 內(nèi)存。這大大減少了 GPU 視頻處理應(yīng)用程序的延遲和系統(tǒng) PCIe 帶寬，因?yàn)閺奶幚砉艿乐邢?GPU 拷貝的系統(tǒng)內(nèi)存。

AJA 設(shè)備現(xiàn)在還將 RDMA 支持合并到 AJA GStreamer 插件中，以實(shí)現(xiàn)零拷貝 GPU 緩沖區(qū)與 DeepStream SDK 的集成。 DeepStream 應(yīng)用程序現(xiàn)在可以處理整個(gè)管道中的視頻數(shù)據(jù)，從初始捕獲到最終顯示，無(wú)需留下 GPU 內(nèi)存。

NVIDIA Clara Holoscan SDK v0 。 1 構(gòu)建于先前 Clara AGX SDK 的功能之上，并添加了允許詳細(xì)測(cè)量視頻 I / O 卡、 CPU 和 GPU 之間視頻傳輸延遲的工具。這將使用戶能夠通過(guò)各種配置測(cè)量延遲，使他們能夠?qū)Ｗ⒂诟纳破款i和優(yōu)化工作流程，以實(shí)現(xiàn)最小的端到端延遲。

數(shù)據(jù)傳輸延遲是使用 Clara AGX 開(kāi)發(fā)工具包和使用內(nèi)部 PCIe Gen3 x8 連接的 AJA 捕獲卡測(cè)量的。下表演示了使用 GPU Direct 可以實(shí)現(xiàn)的延遲減少。

然后，在啟用和不啟用 GPU Direct 的情況下，測(cè)量與 GPU 之間的視頻數(shù)據(jù)傳輸?shù)目倳r(shí)間，以及在 GPU 中處理的剩余時(shí)間：

請(qǐng)注意， GPU Direct 通過(guò)消除寫入系統(tǒng)內(nèi)存的需要，將傳輸時(shí)間縮短了約一半。 GPU Direct 允許以 60 fps 的速度傳輸和處理 4K UHD RGBA 輸入。現(xiàn)在可以在 16 。 666 毫秒幀時(shí)間下傳輸，而沒(méi)有 GPU Direct ，該格式無(wú)法以 60 fps 的速度傳輸。這使得未壓縮的高分辨率視頻能夠與 AI 工作流中的疊加進(jìn)行本地 alpha 混合。不需要從 YUV 格式轉(zhuǎn)換為 RGBA 格式，并且在 60 fps 的幀速率上也沒(méi)有任何折衷。

關(guān)于作者

Yaniv Lazmy 是 NVIDIA 醫(yī)療團(tuán)隊(duì)的技術(shù)產(chǎn)品經(jīng)理，專注于醫(yī)療設(shè)備的加速計(jì)算和連接解決方案。在加入 NVIDIA 之前， Yaniv 是 NeuWave Medical 和 Johnson and Johnson 的嵌入式系統(tǒng)工程師。

Ian Stewart 是 Clara Holoscan 團(tuán)隊(duì)的軟件工程師，專注于 GPU 加速醫(yī)療設(shè)備的優(yōu)化和部署。 Ian 在 NVIDIA 工作了十多年，跨越了各種圖形、圖像和嵌入式開(kāi)發(fā)團(tuán)隊(duì)。

審核編輯：郭婷