未來十年，科學儀器的靈敏度和分辨率將提高 10-100 倍，因此需要相應的存儲和處理規模。這些增強型儀器產生的數據將達到摩爾定律無法充分解決的極限，它將挑戰僅基于數據中心 HPC 的傳統運營模式。

邊緣計算 依賴 AI 和 高性能計算 （ HPC ）來跟上這些增強功能的時代已經到來。

5 月 30 日， NVIDIA 超尺度和 HPC 計算副總裁伊恩·巴克博士在德國漢堡的 國際超級計算大會 （ ISC ）特別演講中回應了這種觀點。在介紹此 邊緣計算背景下 HPC 和 AI 本質的視角轉變 的同時，特別演講還介紹了一個旨在解決邊緣 HPC 數據密集型工作負載這一難題的平臺： NVIDIA Holoscan 。

介紹用于 HPC Edge 的 NVIDIA Holoscan 平臺

NVIDIA Holoscan 平臺已經擴展，以滿足 DevOps 工程師、性能工程師、數據科學家和研究人員在這些不可思議的邊緣儀器上工作的特定需求。

現代實時、邊緣人工智能應用正日益成為多模式應用。它們涉及高速 IO 、視覺 AI 、成像 AI 、圖形、流媒體技術等。創建和維護這些應用程序非常困難。擴展它們甚至更加困難。

NVIDIA 正在構建流式反應式框架（ SRF ），以應對這些挑戰。

圖 1 ：。 NVIDIA Holoscan for HPC 工作流

雖然Holoscan最初是針對醫療保健，但它是一個通用的計算和成像平臺，旨在實現高性能，同時滿足邊緣的尺寸重量和功率（SWaP）限制。

現在， Holoscan 平臺得到了擴展，這得益于一個易于使用的軟件框架，該框架通過確保最大的流數據性能和計算，最大限度地提高了開發人員的生產率。該平臺是云本機平臺，支持邊緣位置和數據中心之間的混合計算和數據管道。它的體系結構還考慮了可伸縮性，使用了網絡感知優化和異步計算。

擴展的 Holoscan 平臺提供了一個靈活的軟件堆棧，可以在基于 NVIDIA Jetson AGX Xavier 或 Jetson AGX Orin 。 還有一個云本機版本，運行在常見的高性能硬件上，以加速邊緣的數據分析和可視化工作流。

介紹 NVIDIA 流式反應式框架

HPC 和 AI 研究領域最優秀的人才正在不斷開發更快更好的算法，以解決當今最具挑戰性的問題。然而，許多開發人員發現，將他們的模型和代碼移植到全速率生產是一項挑戰，尤其是在面臨高速流輸入和嚴格的吞吐量和延遲要求時。

一個有效的解決方案需要各種技能：從數據科學家到性能工程師的人才，同時跨越多種軟件語言、硬件和軟件架構、位置和縮放規則。因此， NVIDIA 創建了流式反應式框架（ SRF ），以減輕對生產的研究負擔，同時保持光速性能。

圖 2 ：。在 Holoscan 中， HPC 流式數據管道使用 SRF 進行了標準化，以便為傳感器數據構建模塊化和可重用的管道

NVIDIA SRF 是一個網絡感知、靈活且面向性能的流式數據框架，它為 C ++和 Python 開發人員標準化并簡化了從云到邊緣的生產 HPC 和 AI 部署。

構建 NVIDIA SRF 管道時，請指定應用程序數據流。以及縮放和放置邏輯。放置邏輯指示數據流運行的硬件，縮放邏輯表示需要多少并行拷貝才能滿足性能要求。

NVIDIA SRF 可以輕松地與 C ++和 Python 代碼以及特定于域的 SDK 的 NVIDIA 目錄集成。

NVIDIA SRF 仍處于實驗階段，正在積極開發中。您可以在 2022 年 6 月中旬訪問 在 GitHub 上下載 NVIDIA SRF 。

用于可視化和成像的 AI

NVIDIA Orin ，一種基于 AI 推斷中的 NVIDIA 安培體系結構 、 設置新記錄 的低功耗片上系統，提高了每臺加速器的性能。它比上一代 Jetson AGX Xavier 快 5 倍，同時平均能效提高 2 倍。

Jetson AGX Orin 是用于 HPC 和 NVIDIA Clara Holoscan 的 Holoscan 的關鍵成分，該平臺系統制造商和研究人員正在使用該平臺開發下一代 AI 儀器。其強大的成像計算能力和多功能軟件堆棧使其對涉及可視化和成像的 HPC 邊緣用例具有吸引力。

Orin 憑借其 JetPack SDK 運行完整的 NVIDIA AI 平臺，這是一個已經在數據中心和云計算中得到驗證的軟件棧。它得到了使用 NVIDIA Jetson 平臺的 100 萬開發人員的支持。

美國能源部阿貢國家實驗室（ ArgonneNational Laboratory ）的 高級光子源 （ APS ）可以產生超明亮的高能光子束。光子的亮度是標準醫院 X 光機的 1000 億倍，可以在納米級和原子級上拍攝圖像。隨著 2024 年 APS-U 的升級，它將能夠產生比當前機器亮 500 倍的光子。

牛津大學的鉆石光源 是世界一流的同步加速器設備，正在將現有光束線和五條新的旗艦光束線的亮度和相干性提高 20 倍。 Diamond 的數據傳輸速率已經達到每月 PB ，使用 Diamond II ，預計至少會高出一個數量級。

在世界范圍內，有 50 多個先進光源支持 16000 多名研究科學家的工作，這些儀器也有更多的升級。雖然所有這些進步本身都很顯著，但它們依賴于計算和數據科學家準備好在邊緣的超級計算機上運行人工智能數據處理應用程序。

PtychoNN ： APS 邊緣計算平臺

APS 是一臺足球場大小的機器，可以產生光子束。這些光束用于研究材料、物理和生物結構。

如今，生成具有納米級分辨率的材料圖像的一種方法是光子照相法（ ptychography ），這是一種計算密集型方法，用于將散射的 X 射線干涉圖轉換為實際物體的圖像。

到目前為止，該方法需要解決一個具有挑戰性的反問題，即使用正向和反向傅里葉變換，根據在數萬次 X 射線測量中觀察到的衍射圖案，迭代計算物體的圖像。科學家們等了幾天才得到實驗圖像的結果。

現在，有了人工智能，科學家們可以繞過大部分反演過程，在實驗進行時查看物體的圖像，甚至可以在飛行中進行調整。

有了人工智能， APS 的科學家們能夠使用流式 ptychography 管道，通過深度卷積神經網絡模型 PtychoNN 進行加速，從而將圖像處理速度提高 300 倍以上，并將生成高質量圖像所需的數據減少 25 倍。

圖3. 在A100上的數據中心培訓PtychoNN模型，并在波束線儀器上部署經過培訓的AI模型，AGX Orin運行PtychoNN以更快300倍的速度傳輸圖像

PtychoNN 模型的培訓 NVIDIA A100 Tensor Core GPU 具有深度學習和 X 射線圖像相位檢索數據。經過訓練的模型可以在 edge 設備上運行，以直接將傳入的衍射圖像映射到真實空間中的對象圖像，并在毫秒內實時映射。

更快的取樣意味著儀器的使用效率更高，為調查更多材料提供了機會。它提供了以前不可能實現的功能，例如查看在 X 射線束中受損的生物材料樣本、快速變化的樣本或與 X 射線束大小相比較大的樣本。

通用的硬件和軟件體系結構簡化了編排， NVIDIA AGX 位于邊緣， A100 GPU 群集位于數據中心。該解決方案易于擴展，以跟上 APS 預期的 125 倍數據速率增長。預計 2022 年的探測器升級和 2024 年的設施升級將帶來增長。

“為了充分利用升級后的 APS 的功能，我們必須重新設計數據分析。我們目前的方法不足以跟上。機器學習可以充分利用并超越當前的可能。”

Mathew Cherukara ，阿貢國家實驗室計算科學家

這種使用 NVIDIA GPU 和 PtychoNN 的工作流程和方法可能是世界上許多其他光源的適用模型，這些光源也可以 通過實時 X 射線成像加速科學突破 。

在前面的示例中，單個 GPU 邊緣設備使用經過訓練的神經網絡加速圖像流。 edge 實驗耗時數天，現在只需幾分之一秒，研究人員就可以實時交互使用他們的大型科學儀器。有關邊緣其他相關 HPC 和 AI 示例的更多信息，請參閱以下參考資料：

邊緣高性能地理空間圖像處理

Clara 全息掃描實時顯示活細胞顯微圖像

使用 NVIDIA 工具包的高級傳感器處理管道

雖然我們的許多突出的 edge HPC 應用程序都專注于流式視頻和成像管道，但 NVIDIA Holoscan 可以擴展到具有各種數據格式和速率的其他傳感器類型。無論您是使用軟件定義的無線電進行高帶寬頻譜分析，還是從電網監測遙測異常， NVIDIA Holoscan 都是軟件定義儀器的首選平臺。

通過關注開發人員的生產力和應用程序性能，無論傳感器是什么，邊緣 HPC 都可以提供實時分析和任務成功。

關于作者

Harry Petty 是一位經驗豐富的數據中心營銷人員和技術專家，曾在大型科技公司擔任領導職務，為混合云、存儲解決方案、網絡處理器和服務器產品線推廣 SDN 產品。

Geetika Gupta 是 HPC + AI 和 Edge 應用的領先產品。自 NVIDIA 開普勒一代以來，她一直擔任數據中心 GPU 的產品經理，現在專注于 HPC + AI 和流式數據用例的融合。 Geetika 擁有加州大學洛杉磯分校安德森學院的 MBA 學位和 IITBHU 的機械工程學士學位。

Adam Thompson 是 NVIDIA 的高級解決方案架構師。他有信號處理方面的背景，他的職業生涯一直在參與和領導一些項目，這些項目專注于射頻分類、數據壓縮、高性能計算、統計信號處理以及管理和設計針對大數據框架的應用程序。

審核編輯：郭婷