女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

YOLOX目標檢測模型的推理部署

OpenCV學堂 ? 來源:OpenCV學堂 ? 作者:gloomyfish ? 2022-04-16 23:00 ? 次閱讀
YOLOX目標檢測模型

曠視科技開源了內部目標檢測模型-YOLOX,性能與速度全面超越YOLOv5早期版本!

fd7acd32-bc50-11ec-aa7f-dac502259ad0.png

如此神奇原因在于模型結構的修改,下圖說明了改了什么地方:

fd89a5b4-bc50-11ec-aa7f-dac502259ad0.png

把原來的耦合頭部,通過1x1卷積解耦成兩個并行的分支,經過一系列處理之后最終取得精度與速度雙提升。實驗對比結果如下:

fd9a396a-bc50-11ec-aa7f-dac502259ad0.png

論文與代碼模型下載地址:
https://arxiv.org/pdf/2107.08430.pdfhttps://github.com/Megvii-BaseDetection/YOLOX

ONNX格式模型轉與部署

下載YOLOX的ONNX格式模型(github上可以下載)
https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo/ONNXRuntimehttps://github.com/Megvii-BaseDetection/YOLOX/releases/download/0.1.1rc0/yolox_s.onnx

下載ONNX格式模型,打開之后如圖:

fdab5c7c-bc50-11ec-aa7f-dac502259ad0.png

輸入格式:1x3x640x640,默認BGR,無需歸一化。輸出格式:1x8400x85
官方說明ONNX格式支持OpenVINO、ONNXRUNTIME、TensorRT三種方式,而且都提供源碼,官方提供的源碼參考如下
https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo
本人就是參考上述的代碼然后一通猛改,分別封裝成三個類,完成了統一接口,公用了后處理部分的代碼,基于本人筆記本的硬件資源與軟件版本:
-GPU 3050Ti-CPU i7 11代-OS:Win10 64位-OpenVINO2021.4-ONNXRUNTIME:1.7-CPU-OpenCV4.5.4-Python3.6.5-YOLOX-TensorRT8.4.x
在三個推理平臺上測試結果如下:

fdb887bc-bc50-11ec-aa7f-dac502259ad0.png

運行截圖如下:onnxruntime推理

fdc4c9d2-bc50-11ec-aa7f-dac502259ad0.png

OpenVINO推理

fde1d216-bc50-11ec-aa7f-dac502259ad0.png

TensorRT推理 - FP32

fdf9d622-bc50-11ec-aa7f-dac502259ad0.png

轉威FP16

fe1134ac-bc50-11ec-aa7f-dac502259ad0.png

TensorRT推理 - FP16

fe239098-bc50-11ec-aa7f-dac502259ad0.png

總結

之前我寫過一篇文章比較了YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比較,現在加上本篇比較了YOLOXTensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比較,得到的結論就是:
CPU上速度最快的是OpenVINOGPU上速度最快的是TensorRT
能不改代碼,同時支持CPU跟GPU推理是ONNXRUNTIMEOpenCV DNN毫無意外的速度最慢(CPU/GPU)

原文標題:YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

文章出處:【微信公眾號:OpenCV學堂】歡迎添加關注!文章轉載請注明出處。

審核編輯:湯梓紅
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 模型
    +關注

    關注

    1

    文章

    3480

    瀏覽量

    49947
  • 目標檢測
    +關注

    關注

    0

    文章

    222

    瀏覽量

    15890
  • OpenCV
    +關注

    關注

    32

    文章

    642

    瀏覽量

    42391

原文標題:YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較

文章出處:【微信號:CVSCHOOL,微信公眾號:OpenCV學堂】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    labview調用yolo目標檢測、分割、分類、obb

    labview調用yolo目標檢測、分割、分類、obb、pose深度學習,支持CPU和GPU推理,32/64位labview均可使用。 (yolov5~yolov12)
    發表于 03-31 16:28

    【幸狐Omni3576邊緣計算套件試用體驗】RKNN 推理測試與圖像識別

    本節介紹了 RKNN 推理測試的相關流程,包括 rknn_model_zoo 模型部署、編譯及板端測試。 rknn_model_zoo rknn_model_zoo 是瑞芯微官方提供的 RKNPU 支持
    發表于 03-20 16:14

    添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略

    這也會帶來新問題,隨著模型參數增加,回復速度會明顯下降,實際應用中需根據需求權衡。使用 Ollama 工具部署推理模型運行時主要依賴 CPU 運算。從運行監測數據能看到,模型回復時
    發表于 02-14 17:42

    摩爾線程宣布成功部署DeepSeek蒸餾模型推理服務

    近日,摩爾線程智能科技(北京)有限責任公司在其官方渠道發布了一則重要消息,宣布公司已經成功實現了對DeepSeek蒸餾模型推理服務的部署。這一技術突破,標志著摩爾線程在人工智能領域邁出了堅實的一步
    的頭像 發表于 02-06 13:49 ?699次閱讀

    AI模型部署邊緣設備的奇妙之旅:目標檢測模型

    以及邊緣計算能力的增強,越來越多的目標檢測應用開始直接在靠近數據源的邊緣設備上運行。這不僅減少了數據傳輸延遲,保護了用戶隱私,同時也減輕了云端服務器的壓力。然而,在邊緣端部署高效且準確的目標
    發表于 12-19 14:33

    如何開啟Stable Diffusion WebUI模型推理部署

    如何開啟Stable Diffusion WebUI模型推理部署
    的頭像 發表于 12-11 20:13 ?442次閱讀
    如何開啟Stable Diffusion WebUI<b class='flag-5'>模型</b><b class='flag-5'>推理</b><b class='flag-5'>部署</b>

    高效大模型推理綜述

    模型由于其在各種任務中的出色表現而引起了廣泛的關注。然而,大模型推理的大量計算和內存需求對其在資源受限場景的部署提出了挑戰。業內一直在努力開發旨在提高大
    的頭像 發表于 11-15 11:45 ?1242次閱讀
    高效大<b class='flag-5'>模型</b>的<b class='flag-5'>推理</b>綜述

    在樹莓派上部署YOLOv5進行動物目標檢測的完整流程

    卓越的性能。本文將詳細介紹如何在性能更強的計算機上訓練YOLOv5模型,并將訓練好的模型部署到樹莓派4B上,通過樹莓派的攝像頭進行實時動物目標檢測
    的頭像 發表于 11-11 10:38 ?3228次閱讀
    在樹莓派上<b class='flag-5'>部署</b>YOLOv5進行動物<b class='flag-5'>目標</b><b class='flag-5'>檢測</b>的完整流程

    YOLOv6在LabVIEW中的推理部署(含源碼)

    YOLOv6 是美團視覺智能部研發的一款目標檢測框架,致力于工業應用。如何使用python進行該模型部署,官網已經介紹的很清楚了,但是對于如何在LabVIEW中實現該
    的頭像 發表于 11-06 16:07 ?807次閱讀
    YOLOv6在LabVIEW中的<b class='flag-5'>推理</b><b class='flag-5'>部署</b>(含源碼)

    手冊上新 |迅為RK3568開發板NPU例程測試

    yolov5目標檢測 6.13 yolov5-seg語義分割 6.14 yolov6目標檢測 6.15 yolov7目標
    發表于 10-23 14:06

    手冊上新 |迅為RK3568開發板NPU例程測試

    yolov5目標檢測 6.13 yolov5-seg語義分割 6.14 yolov6目標檢測 6.15 yolov7目標
    發表于 08-12 11:03

    LLM大模型推理加速的關鍵技術

    LLM(大型語言模型)大模型推理加速是當前人工智能領域的一個研究熱點,旨在提高模型在處理復雜任務時的效率和響應速度。以下是對LLM大模型
    的頭像 發表于 07-24 11:38 ?1604次閱讀

    迅為RK3568手冊上新 | RK3568開發板NPU例程測試

    6.13 yolov5-seg語義分割 6.14 yolov6目標檢測 6.15 yolov7目標檢測 6.16 yolov8目標
    發表于 07-12 14:44

    yolox_bytetrack_osd_encode示例自帶的yolox模型效果不好是怎么回事?

    yolox_bytetrack_osd_encode示例自帶的模型如下,我看示例里面yolox_group.json、yolox_infer.json、
    發表于 07-05 07:51

    用OpenVINO C# API在intel平臺部署YOLOv10目標檢測模型

    模型設計策略,從效率和精度兩個角度對YOLOs的各個組成部分進行了全面優化,大大降低了計算開銷,增強了性能。在本文中,我們將結合OpenVINO C# API使用最新發布的OpenVINO 2024.1部署YOLOv10目標
    的頭像 發表于 06-21 09:23 ?1748次閱讀
    用OpenVINO C# API在intel平臺<b class='flag-5'>部署</b>YOLOv10<b class='flag-5'>目標</b><b class='flag-5'>檢測</b><b class='flag-5'>模型</b>