新的 Jetson AGX Orin 開發(fā)人員套件在 15-60 W 下提供 275 TOPS 的性能，并與 NVIDIA Isaac 和 JetPack SDK 的進(jìn)步相結(jié)合，以加速 AI 開發(fā)和部署，并將 Omniverse 工具的輸出帶到邊緣的自主機(jī)器人。

幾年前，每個(gè)人的老板都在向他們詢問物聯(lián)網(wǎng)戰(zhàn)略、原型，然后不可避免地需要一個(gè)產(chǎn)生顯著投資回報(bào)率的實(shí)施方案。這個(gè)循環(huán)正在重復(fù)，只是這次是人工智能和機(jī)器學(xué)習(xí)。最大的問題是人工智能更難，需要更長的時(shí)間。

在技術(shù)和業(yè)務(wù)領(lǐng)導(dǎo)層開始要求它們時(shí)，創(chuàng)建物聯(lián)網(wǎng)概念驗(yàn)證所需的大多數(shù)支持技術(shù)已經(jīng)到位。另一方面，使用人工智能，創(chuàng)建一個(gè)甚至遠(yuǎn)程有用的模型的過程是漫長而乏味的，包括收集大量數(shù)據(jù)集、用標(biāo)簽標(biāo)記數(shù)據(jù)、比較不同的模型類型，然后再選擇最適合您使用的模型案例，然后針對(duì)標(biāo)記的數(shù)據(jù)集訓(xùn)練所選模型。然后一次又一次地重復(fù)該過程，直到達(dá)到可接受的性能和準(zhǔn)確性水平。

這個(gè)過程可能需要一年或更長時(shí)間，這甚至不考慮硬件。

NVIDIA 在過去六個(gè)月中發(fā)布了一系列產(chǎn)品和功能，以幫助 AI 開發(fā)人員加速這一進(jìn)程。值得注意的是，在 GTC 2021 年秋季，該公司推出了 Omniverse Replicator 引擎，這是一種合成數(shù)據(jù)生成工具，可幫助開發(fā)人員訓(xùn)練 AI。作為公司 Isaac 和 Drive Sim 模擬環(huán)境的一部分，Replicator 生成和標(biāo)記特定領(lǐng)域的真實(shí)數(shù)據(jù)，這些數(shù)據(jù)可以增強(qiáng)由人類工程師和數(shù)據(jù)科學(xué)家手動(dòng)捕獲和分類的真實(shí)世界數(shù)據(jù)集。僅此一項(xiàng)就可以將自動(dòng)駕駛汽車、機(jī)器人和其他人工智能驅(qū)動(dòng)機(jī)器的開發(fā)時(shí)間縮短數(shù)月。

但這只是第一步。Replicator 生成數(shù)據(jù)后，需要通知模型。訓(xùn)練、適應(yīng)、優(yōu)化 （TAO） 工具包解決了這一問題，該工具包在過去幾年中得到了增強(qiáng)，以支持使用來自 Omniverse Replicator 等工具的合成數(shù)據(jù)對(duì)現(xiàn)有模型進(jìn)行訓(xùn)練。正如您在上圖中所見，工作流將這些模型與應(yīng)用程序框架集成在一起，例如用于計(jì)算機(jī)視覺的 NVIDIA DeepStream、用于支持人工智能的語音用例的 NVIDIA Riva 以及通過與開源機(jī)器人基金會(huì) （OSRF） 合作的 Isaac ROS ）現(xiàn)在支持機(jī)器人操作系統(tǒng) （ROS），以加速自主移動(dòng)機(jī)器人 （AMR） 的開發(fā)。

這些 SDK 和工具鏈經(jīng)過優(yōu)化，可與 NVIDIA JetPack SDK 配合使用，該 SDK 是為公司的 Jetson 系列嵌入式系統(tǒng)模塊 （SoM） 和開發(fā)套件量身定制的操作系統(tǒng)和應(yīng)用程序開發(fā)環(huán)境。

介紹 Orin：縮短 AI 開發(fā)生命周期的又一步

NVIDIA 更加強(qiáng)調(diào)應(yīng)用程序框架和 OS SDK 的集成并不是什么新鮮事，但不應(yīng)被忽視，因?yàn)樗砹?AI 系統(tǒng)工程生命周期的又一步，并縮短了自主機(jī)器的上市時(shí)間。例如，前面提到的 ROS 和 Isaac 環(huán)境的融合催生了 Isaac Nova Orin等創(chuàng)新，這是一個(gè)利用基于 ROS 的 GEM 的計(jì)算和傳感器參考平臺(tái)，這些 GEM 是用于 AMR 感知堆棧中的計(jì)算機(jī)視覺和圖像處理的軟件包。

正如 Nova Orin 參考平臺(tái)所定義的，這些功能所需的輸入使用了一個(gè)傳感器套件，該套件最多包含六個(gè)攝像頭、三個(gè)激光雷達(dá)和八個(gè)超聲波傳感器。當(dāng)然，這些都是可以模擬的，Nova Orin 包含允許開發(fā)人員在 NVIDIA Omniverse 中測試他們的設(shè)計(jì)的工具，這些工具與 Omniverse Replicator 的功能完美搭配。然而，據(jù)該公司稱，在真實(shí)世界中對(duì)這個(gè)參考平臺(tái)進(jìn)行原型設(shè)計(jì)需要大約 550 TOPS 的計(jì)算能力。

將 AI 開發(fā)時(shí)間從數(shù)月或數(shù)年縮短至數(shù)周或數(shù)天的驅(qū)動(dòng)力推動(dòng)了 NVIDIA 軟件套件的發(fā)展，該套件現(xiàn)在可以解決從數(shù)據(jù)采集到驅(qū)動(dòng)的所有問題。該軟件套件的發(fā)展保證了高性能、注重功耗的邊緣 AI 計(jì)算硬件的又一次迭代，該硬件昨天在公司兩年一度的 GTC 活動(dòng)中宣布：NVIDIA Jetson AGX Orin 開發(fā)人員套件和 SoM。

Jetson AGX Orin 開發(fā)人員套件可提供您對(duì)新 NVIDIA 硬件平臺(tái)的期望——更高的性能、同等的功率和合理的價(jià)格點(diǎn)，適合希望在邊緣推理目標(biāo)上實(shí)施流線型 AI 模型的開發(fā)人員。該開發(fā)工具包現(xiàn)在售價(jià) 1，999 美元，憑借以下計(jì)算子系統(tǒng)，可在 15 至 60 W 的可配置功耗下提供高達(dá) 275 TOPS 的 INT8 稀疏計(jì)算性能：

具有 2048 個(gè) CUDA 核心和 64 個(gè) Tensor 核心的 Ampere GPU

12核Arm Cortex-A78AE CPU

雙 NVIDIA 深度學(xué)習(xí)加速器 （DLA）

雙可編程視覺加速器 （PVA）

H.265 視頻編碼/解碼（4K60 至 1080p30 兼容解碼高達(dá) 8K30）

這些由 32 GB 的 256 位 LPDDR5 內(nèi)存支持，帶寬高達(dá) 204.8 GBps，足以在要求苛刻的 AI 推理部署中利用 GPU 和張量核心的大規(guī)模并行性。板載還有 64 GB 的 eMMC 5.1 存儲(chǔ)。

與 NVIDIA Jetson AGX Xavier 相比，該產(chǎn)品線的性能提升了 8 倍，其中包括 3.3 倍的 AI 執(zhí)行性能提升，與即將推出的 NVIDIA JetPack SDK 5.0 版配合使用時(shí)可躍升至 4.9 倍。盡管占用與 Xavier 相同的 110 毫米 x 110 毫米 x 71.65 毫米外形尺寸（包括模塊、載體和散熱解決方案），但仍能實(shí)現(xiàn)這一目標(biāo)。

在 Jetson AGX Orin 開發(fā)人員套件上，這些功能可通過各種接口訪問，這些接口能夠支持 Nova Orin 參考設(shè)計(jì)等用例，包括：

16 通道 MIPI CSI-2 連接器

x16 PCIe 插槽（x8 PCIe Gen4）

10 GbE 通過 RJ45 端口

2x USB 3.2 Gen2 支持 USB-PD （Type C）， 2x USB 3.2 Gen2 （Type A）， 2x USB 3.2 Gen1 （Type A）， USB 2.0 （Micro B）

用于串行通信、自動(dòng)化、音頻、調(diào)試、風(fēng)扇等的各種排針。

用于擴(kuò)展、存儲(chǔ)的 M.2 Key（M、E）和 microSD 插槽

此外，開發(fā)人員套件還附帶一個(gè) 802.11ac/abgn 無線網(wǎng)絡(luò)接口控制器和 USB-C 電源適配器和電源線。它還保持與Jetson AGX Xavier 平臺(tái)的引腳和軟件兼容性，以實(shí)現(xiàn)最大的應(yīng)用程序可移植性。

人工智能：從元界開發(fā)到邊緣部署

兩個(gè) Jetson AGX Orin 開發(fā)工具包足以滿足 Nova Orin 參考設(shè)計(jì)的要求，直到現(xiàn)在，這可能需要一個(gè)成熟的邊緣服務(wù)器。消除這些外形尺寸和功耗限制是實(shí)現(xiàn)從 AMR 到自動(dòng)駕駛汽車等系統(tǒng)中準(zhǔn)確、低延遲的邊緣 AI 擴(kuò)散的關(guān)鍵。

但由于您實(shí)際上無法將開發(fā)人員套件放入生產(chǎn)系統(tǒng)中，因此 NVIDIA 宣布了基于 Jetson AGX Orin 的新 SoM 系列，將于今年第四季度上市。在下面的幻燈片中可以看到，這些模塊是開發(fā)人員套件的子集，具有不同的緊湊型（AGX 或 NX）和性能級(jí)別，但具有與 Jetson 系列模塊的其余部分相同的連接器。

對(duì)于那些從 AGX Xavier 平臺(tái)遷移的用戶，最接近的模擬是 Jetson AGX Orin 32 GB，1，000 多片的售價(jià)為 899 美元。

嵌入式硬件公司已經(jīng)通過載板解決方案來支持這些模塊，例如用于 NVIDIA Jetson AGX Orin 的 ConnectTech Forge Carrier，它帶來了模塊的 16 通道 MIPI 連接器、M.2 Key 插槽、USB 3.2 接口和用于系統(tǒng)設(shè)計(jì)和擴(kuò)張。

當(dāng)然，這不是結(jié)束?；谶@樣的技術(shù)設(shè)計(jì)和部署生產(chǎn)系統(tǒng)實(shí)際上更多的是一個(gè)開始。

NVIDIA Metropolis等軟件功能繼續(xù)將這些邊緣 AI 平臺(tái)轉(zhuǎn)變?yōu)樽罱咏阎嬖诘娜祟惛兄芰Φ钠脚_(tái)。Metropolis 是另一個(gè)應(yīng)用程序框架，它將來自“數(shù)萬億個(gè)端點(diǎn)”的視覺傳感器數(shù)據(jù)與人工智能相結(jié)合，以幫助為系統(tǒng)設(shè)計(jì)和操作提供信息。換句話說，對(duì)于 Metropolis，工廠監(jiān)控?cái)z像頭可以作為輔助 AMR 導(dǎo)航的輸入。

如果你覺得事情正在發(fā)生變化，而且變化很快，那你是對(duì)的。他們是。沒關(guān)系。正如 NVIDIA 首席執(zhí)行官 Jensen Huang 在新聞發(fā)布會(huì)上所說，“深度學(xué)習(xí)不僅僅是像光柵化或紋理映射這樣的新應(yīng)用或技術(shù)的某些特征。深度學(xué)習(xí)和機(jī)器學(xué)習(xí)是計(jì)算的基本重新設(shè)計(jì)。這是一種全新的計(jì)算方式，其意義非常重要。

“我們編寫軟件的方式、我們維護(hù)軟件的方式、我們不斷改進(jìn)軟件的方式都發(fā)生了變化，這是第一位的，”他繼續(xù)說道?！暗诙覀兛梢跃帉懙能浖愋桶l(fā)生了變化。它是超人的能力，我們以前從未編寫過的軟件。第三件事是為軟件工程師和操作提供的整個(gè)基礎(chǔ)設(shè)施，即所謂的 MLOps，即與開發(fā)這種端到端從根本上改變公司有關(guān)?！?/p>

幸運(yùn)的是，像 Jetson AGX Orin 這樣的工具包、像 JetPack 和 Isaac Sim 這樣的環(huán)境，以及像 Omniverse Replicator 這樣的元宇宙開發(fā)的工具現(xiàn)在都可以用來促進(jìn)這種過渡，從而簡化 AI 開發(fā)并縮短部署時(shí)間這在一年前是不可想象的。

審核編輯：郭婷