AI 應(yīng)用的部署正逐漸從服務(wù)器端走向移動(dòng)終端和邊緣端，覆蓋了包括交通、醫(yī)療、巡檢等等多個(gè)行業(yè)。從自動(dòng)化業(yè)務(wù)流程和通過數(shù)據(jù)分析獲得洞察力，AI 正在通過各種方式實(shí)現(xiàn)競爭優(yōu)勢。

如何讓模型落地復(fù)雜的軟硬件環(huán)境，并充分實(shí)現(xiàn)最優(yōu)的推理效果，一直是 AI 從業(yè)者們追求和努力的方向。飛槳（PaddlePaddle）以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ)，集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體，是中國首個(gè)自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺(tái)。

最近，NVIDIA 解決方案架構(gòu)師張海軍在百度飛槳 AI 部署月活動(dòng)中發(fā)表了關(guān)于NVIDIA Jetson平臺(tái)的演講，接下來就讓我們共同探索如何在 NVIDIA Jetson 平臺(tái)上實(shí)現(xiàn)快速部署。

NVIDIA AI 平臺(tái)和 Jetson 的力量

NVIDIA Jetson 平臺(tái)適用于自主機(jī)器和其他嵌入式應(yīng)用程序。該平臺(tái)包括 Jetson 模組（外形小巧的高性能計(jì)算機(jī)）、用于加速軟件的 NVIDIA JetPack SDK，以及包含傳感器、SDK、服務(wù)和產(chǎn)品的生態(tài)系統(tǒng)，從而加快開發(fā)速度。Jetson 與其他 NVIDIA 平臺(tái)上所用的相同 AI 軟件和云原生工作流相兼容，并能為客戶提供構(gòu)建軟件定義的自主機(jī)器所需的性能和能效。

• Jetson Orin平臺(tái)

  借助功能強(qiáng)大的 AI 計(jì)算機(jī)，打造節(jié)能高效的新一代自主機(jī)器產(chǎn)品。與上一代相比，性能高達(dá) 8 倍，多個(gè)并發(fā)AI推理管道的 275 TOPS 算力，以及支持多個(gè)傳感器的高速接口，是制造、物流、零售和醫(yī)療健康領(lǐng)域應(yīng)用的理想解決方案。

• Jetson Orin NX

  Jetson Orin NX 以強(qiáng)大的功能和小巧的 Jetson 外形規(guī)格打造節(jié)能高效的自主機(jī)器。與 NVIDIA Jetson Xavier NX 相比，性能高達(dá) 5 倍，兩倍的 CUDA 核心數(shù)，以及多個(gè)傳感器的高速接口支持。Jetson Orin NX 具備支持多個(gè)并發(fā) AI 推理管道的 100 TOPS 算力，外形緊湊，性能出色。

• Jetson Orin Nano

  NVIDIA Jetson Orin 系列模組外形小巧，但可提供高達(dá) 40 TOPS 的 AI 性能，功率可在 5 瓦到 15 瓦之間進(jìn)行選擇。這為您提供了高達(dá) NVIDIA Jetson Nano 80 倍的性能，并為入門級邊緣 AI 設(shè)定了新的基準(zhǔn)。

• Jetson 軟件

  所有的 Jetson 模組均由同一軟件堆棧提供支持，因此只需一次開發(fā)，即可在任意地方部署。Jetson 平臺(tái)由強(qiáng)大的 Jetson 軟件堆棧提供支持，旨在為 AI 應(yīng)用程序提供端到端加速，并加快上市速度。NVIDIA 提供強(qiáng)大的技術(shù)，賦能數(shù)據(jù)中心和從云到邊緣的部署。

FastDeploy 及 Jetson 部署方案

FastDeploy是一款覆蓋視覺、語言、語音全場景的 AI 推理部署套件，使深度學(xué)習(xí)推理部署更簡單、更高效。FastDeploy 可以針對產(chǎn)業(yè)落地場景中的重要 AI 模型，在不同的硬件環(huán)境下，支持開發(fā)者下載已經(jīng)預(yù)編譯好的多種 SDK，開發(fā)者參考文檔，簡單幾步即可完成 AI 模型的部署，大幅降低部署難度和時(shí)間成本。

• 全場景

  FastDeploy支持 Paddle Inference、TensorRT、ONNX Runtime、Poros 等推理后端，覆蓋常見的 NVIDIA GPU、Jetson Nano、Jetson TX2、Jetson AGX、Jetson Orin 等云邊端場景全系列 NVIDIA 硬件部署。同時(shí)支持服務(wù)化部署、離線部署、端側(cè)部署方式。針對不同硬件，統(tǒng)一 API 保證一套代碼在數(shù)據(jù)中心、邊緣部署和端側(cè)部署無縫切換。

• 簡單易用

  FastDeploy 的 API 設(shè)計(jì)為確保不同語言的開發(fā)者能夠享受到統(tǒng)一的 API 體驗(yàn)，不同語言的代碼只都只需要 3 行核心代碼，就可以實(shí)現(xiàn)預(yù)知模型的高性能推理，極大降低了 AI 模型部署難度和工作量。一行命令切換 TensorRT、Paddle Inference、ONNX Runtime、Poros 等不同推理后端和對應(yīng)硬件，充分利用可推理引擎在 GPU 硬件上的優(yōu)勢。

• 極致高效

  FastDeploy 集成自動(dòng)壓縮工具，在參數(shù)量大大減小的同時(shí)（精度幾乎無損），推理速度大幅提升。使用 CUDA 加速優(yōu)化預(yù)處理和后處理模塊，端到端的優(yōu)化策略，徹底解決 AI 部署落地中的性能難題。

在 FastDeploy 上快速部署 Jetson：

• 幾行 Python 代碼完成部署

• 幾行 C++ 代碼完成部署

• OCR 模型部署

• NLP 模型部署

• 編譯和安裝

• 編譯選項(xiàng)，減小包體積

• 一行代碼切換不同硬件/后端

• 一鍵壓縮和量化 PTQ

• 一鍵壓縮和量化 QAT

• 預(yù)處理優(yōu)化

Jetson 生態(tài)環(huán)境及客戶成功案例

每個(gè) NVIDIA Jetson 都是一個(gè)完整的系統(tǒng)模組 (SOM)，其中包括 GPU、CPU、內(nèi)存、電源管理和高速接口等。不同性能、能效和外形規(guī)格的組合滿足各類行業(yè)的客戶所需。Jetson 生態(tài)系統(tǒng)合作伙伴提供軟件、硬件設(shè)計(jì)服務(wù)以及涵蓋載板到完整系統(tǒng)的現(xiàn)成兼容產(chǎn)品，因此可以借助 AI 嵌入式邊緣設(shè)備更快地打入市場。

圖為科技打造的 AI 邊緣計(jì)算機(jī)系列產(chǎn)品采用圖為 T906 邊緣計(jì)算機(jī)和百度算法相結(jié)合，構(gòu)建了多種場景的邊緣計(jì)算解決方案。圖為 T906是一款基于NVIDIA Jetson AGX Orin系列模塊的邊緣計(jì)算機(jī)，使用FastDeploy在圖為 T906 邊緣計(jì)算機(jī)上可實(shí)現(xiàn)快速部署，多種算法，超長 MTBF，穩(wěn)定運(yùn)行 7x24 小時(shí)不間斷工作。