機(jī)器視覺，為行業(yè)數(shù)字化打開了新的“視”界，是實(shí)現(xiàn)行業(yè)自動(dòng)化和智能化的必要手段，這也使得越來越多的學(xué)生、研究者及開發(fā)者們學(xué)習(xí)并研究機(jī)器視覺技術(shù)。

賈志剛便是其中一員，他的另外一個(gè)身份是 “OpenCV 學(xué)堂” 的創(chuàng)辦人。同時(shí)，作為 CSDN 博客專家以及 51CTO 視頻學(xué)院認(rèn)證講師，賈志剛在圖像特征提取匹配、識(shí)別等方面有較深入的研究，擁有 10 年以上圖像處理項(xiàng)目實(shí)踐經(jīng)驗(yàn)和教學(xué)經(jīng)驗(yàn)。

賈志剛近照

“機(jī)器視覺技術(shù)是一門涉及人工智能、計(jì)算機(jī)科學(xué)、圖像處理等領(lǐng)域的交叉學(xué)科，不斷在尋找更創(chuàng)新、更有效率的方式實(shí)現(xiàn)生產(chǎn)落地，”賈老師說。

很重要，但是也有痛點(diǎn)

在嗶哩嗶哩平臺(tái)上，“OpenCV 學(xué)堂”的鐵粉已經(jīng)達(dá)到近 3 W 人，賈老師專門針對(duì)這些對(duì)視覺感興趣、想自學(xué) CV 開發(fā)或者想轉(zhuǎn)行到視覺領(lǐng)域的各位開發(fā)者，錄制了各類關(guān)于 CV 開發(fā)技術(shù)與案例實(shí)戰(zhàn)的課程。

但是在長(zhǎng)期的開發(fā)與培訓(xùn)中，賈老師還是遇到了一些困擾。學(xué)員經(jīng)常發(fā)各種圖像文件要求老師給出思路與方法，但是苦于沒有合適的工具軟件，對(duì)學(xué)員此類問題答疑效率極差，需要反復(fù)進(jìn)行長(zhǎng)時(shí)間的溝通。不僅如此，在機(jī)器視覺項(xiàng)目開發(fā)中經(jīng)常需要向客戶快速演示，以證明公司的技術(shù)能力，獲取客戶信任，但是由于沒有好的算法演示工具套件，項(xiàng)目的預(yù)研跟評(píng)估流程很長(zhǎng)，效率很低，與客戶期望時(shí)間相去甚遠(yuǎn)。

“我們需要一個(gè)工具套件幫助老師更好地設(shè)計(jì)教學(xué)案例與算法演示，通過嵌入機(jī)器視覺領(lǐng)域必備知識(shí)點(diǎn)案例教學(xué)與算子支持，更具說服力地向?qū)W生展示機(jī)器視覺的強(qiáng)大力量，保證學(xué)生的學(xué)習(xí)更加有的放矢，更好地培養(yǎng)合格的機(jī)器視覺領(lǐng)域的技術(shù)人才。”賈老師表示。

同樣，這也適用于那些需要向客戶演示機(jī)器視覺項(xiàng)目，證明自己技術(shù)能力的企業(yè)用戶。

于是，賈老師決定親自率領(lǐng)團(tuán)隊(duì)開發(fā)一套名為 OpenMV (Open Machine Vision Toolkit)的針對(duì)機(jī)器視覺技術(shù)方向的開源教學(xué)工具軟件。

為實(shí)踐價(jià)值而生

既然是工具套件，首先要選擇一個(gè)硬件載體，這需要考慮到教學(xué)場(chǎng)景使用的便捷性與成本，同時(shí)兼顧運(yùn)行速度與深度學(xué)習(xí)模型加速等因素。賈老師和他的團(tuán)隊(duì)將目光看向了 NVIDIA Jetson Nano 4GB 開發(fā)套件。

“這個(gè)平臺(tái)具備 1 個(gè)網(wǎng)口和4 個(gè) USB 插口，支持 HDMI 輸出，是一款性價(jià)比超高，同時(shí)可以演示傳統(tǒng)圖像處理與深度學(xué)習(xí)推理的實(shí)驗(yàn)平臺(tái)。”賈老師說，“外接了顯示器與鼠標(biāo)鍵盤之后就完成了硬件平臺(tái)搭建。”

Jetson NANO 開發(fā)套件

基于硬件選型與配置，軟件系統(tǒng)選擇開源計(jì)算機(jī)視覺庫 OpenCV 作為傳統(tǒng)視覺算法支撐，同時(shí) OpenCV4.x 版本 DNN (Deep Neural Network) 模塊有非常好的深度學(xué)習(xí)推理部署支持，通過 NVIDIA CUDA 實(shí)現(xiàn)推理加速。軟件選擇的開發(fā)語言是 Python，主要考慮到 Python 語言是人工智能與深度學(xué)習(xí)場(chǎng)景下開發(fā)者使用最廣泛的語言，同時(shí)學(xué)習(xí)成本跟時(shí)間消耗相對(duì)來說比較低，對(duì)開發(fā)團(tuán)隊(duì)完成項(xiàng)目開發(fā)比較有利。界面開發(fā)框架選擇 PyQT5，深度學(xué)習(xí)推理支持 OpenCV DNN 與TensorRT兩種框架，傳統(tǒng)圖像處理與分析算法支持選擇 OpenCV 庫作為支持。針對(duì) OpenCV 中模板算法進(jìn)行優(yōu)化，實(shí)現(xiàn)了支持多角度、多目標(biāo)、多尺度的模板匹配，針對(duì) OpenCV 測(cè)量模塊缺失的問題，團(tuán)隊(duì)開發(fā)了一套基于梯度差分、快速邊緣測(cè)量的算法模塊，兩個(gè)模塊均已集成到 OpenMV 工具套件中，方便老師在教學(xué)場(chǎng)合演示。

對(duì)象檢測(cè)數(shù)據(jù)標(biāo)注演示

YOLOv5 自定義對(duì)象檢測(cè)模型推理演示

借助 Jetson Nano 強(qiáng)大的硬件性能以及 NVIDIA 全棧式高性能嵌入式開發(fā)環(huán)境，賈老師團(tuán)隊(duì)夜以繼日完成了 OpenMV 工具套件實(shí)驗(yàn)平臺(tái)代碼的初步開發(fā)與搭建。它支持機(jī)器視覺常用的算法與算子的演示操作，支持從圖像開始的算法流程設(shè)計(jì)，可以快速調(diào)整參數(shù)與測(cè)試，零代碼實(shí)現(xiàn)常見圖像處理、圖像分析和圖像測(cè)量等視覺任務(wù)，還有深度學(xué)習(xí)圖像分類、對(duì)象檢測(cè)以及語義分割網(wǎng)絡(luò)主流模型推理演示。

與 Jetson 開發(fā)社區(qū)一起成長(zhǎng)

談到自研的這套 OpenMV 工具套件的開發(fā)目標(biāo)，賈老師表示，希望能幫助高職院校培養(yǎng)更多既懂傳統(tǒng) OpenCV 算法，又懂深度學(xué)習(xí)，從訓(xùn)練到部署都合格的視覺開發(fā)工程師們，也希望能成為企業(yè)展示自己機(jī)器視覺技術(shù)實(shí)力的利器。未來，團(tuán)隊(duì)還會(huì)腳踏實(shí)地、全力以赴，用匠心做好后續(xù)開發(fā)工作，持續(xù)改進(jìn)與提升產(chǎn)品質(zhì)量，在 NVIDIA 高性能硬件加持下，為教育市場(chǎng)與高職院校視覺相關(guān)課程建設(shè)打磨更多的有用產(chǎn)品。

“很高興能成為 NVIDIA Jetson 百萬開發(fā)者的一員。NVIDIA 的 Jetson 平臺(tái)對(duì)開發(fā)者非常友好，不僅安裝簡(jiǎn)單而且貼合開發(fā)者實(shí)際需求，無論是用 C++ 還是 Python 在嵌入式端部署深度學(xué)習(xí)模型開發(fā)應(yīng)用，Jetson Nano 都挺合適，值得入門人工智能的開發(fā)者們擁有。”賈老師說，“開發(fā)過程中，NVIDIA 官方提供了豐富 Jetson NANO 和 TensorRT 教程和項(xiàng)目作為參考，讓團(tuán)隊(duì)獲得很多一手的開發(fā)文檔與資料，這也讓我們有信心和 Jetson 開發(fā)社區(qū)一起成長(zhǎng)！”

像賈老師及團(tuán)隊(duì)一樣的開發(fā)者朋友們可以免費(fèi)報(bào)名參加 GTC 的 Jetson 邊緣 AI 開發(fā)者日活動(dòng)。NVIDIA 專家將在活動(dòng)上介紹最新的 Jetson 硬件、軟件和合作伙伴。此外還有 CUDA 編程等精彩議題。內(nèi)容包括：

• 使用 NVIDIA Jetson 軟件加速邊緣 AI 的開發(fā)

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675122992275001FUuE）

• 使用 NVIDIA Jetson 生態(tài)系統(tǒng)加快產(chǎn)品上市速度

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675125146374001Sj7X）

• 如何編寫 CUDA 程序

  （https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=CUDA#/session/1666205357204001Efly)

另外，GTC 期間更有一場(chǎng)以 Jetson 平臺(tái)為主題的專家交流分會(huì)，屆時(shí)參加者可以與 NVIDIA 嵌入式平臺(tái)工程師開展深度問答。這場(chǎng)互動(dòng)交流會(huì)提供了一個(gè)獨(dú)家機(jī)會(huì)，讓您可以以團(tuán)隊(duì)或個(gè)人形式與 NVIDIA 產(chǎn)品幕后人員見面，答疑解惑。活動(dòng)席位有限，先到先得。

復(fù)制鏈接粘貼至瀏覽器進(jìn)行注冊(cè)：

https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1670472065129001rf2z

//

Jetson “百萬開發(fā)者”有獎(jiǎng)?wù)骷顒?dòng)正在火熱進(jìn)行中。作為 Jetson “百萬開發(fā)者”的一員，感謝您陪伴 Jetson 走過的開發(fā)之路。無論是企業(yè)、工程師、發(fā)燒友還是學(xué)生，我們相信每一位開發(fā)者都和 Jetson 有著不一樣的故事。快來參與有獎(jiǎng)?wù)骷顒?dòng)，說出您與 Jetson 的故事，無論是開發(fā)創(chuàng)造的經(jīng)典案例，還是學(xué)習(xí)構(gòu)建的心得體驗(yàn)，都?xì)g迎您暢所欲言，更有驚喜好禮等您拿！