簡介:ShiMetaPi Hybrid Vision SDK 由 hybrid_vision_toolkit 和 hybrid_vision_algo 兩個獨立的SDK組成,分別實現視覺融合相機的接口控制和算法處理。
一、shimetapi_Hybrid_vision_algo (算法層 SDK)
定位: 這是 SDK 的核心算法處理層,位于架構的中間層(黃色部分)。
核心功能: 專注于處理來自事件相機的原始數據流,執行高級的計算機視覺算法,以提升數據質量、提取有用信息或進行三維理解。
包含的模塊:
降噪 (Denoise): 去除事件流中的噪聲,提高信號質量。
插值 (Interpolation): 用于在事件之間生成中間數據點,或與標準幀圖像進行時空對齊/融合。
修復 (Restoration): 用于處理數據缺失或異常。
計算機視覺/三維視覺 (CV/CV3D): 包含實現事件相機特定或融合應用的算法,如目標檢測、跟蹤、三維重建、姿態估計等。
樣本與數據 (Samples/data): 提供示例代碼、模型或必要的數據集。
外部依賴 (external): 通過集成第三方庫給用戶提供更多設備的選擇,例如:shimetapi Hybrid vision toolkit`,OpenEb(通過命令安裝)等 。
作用: 它為上層應用 (APP) 提供了經過處理、增強或理解的事件數據信息。應用開發者主要調用這一層的接口來實現事件相機的高級功能(如播放、錄制、分析)。
二、shimetapi_Hybrid_vision_toolkit (HAL層工具包)
定位:這是 SDK 的 硬件抽象層 (HAL) 和基礎工具層 ,位于算法層之下(深藍色部分)。
核心功能:提供與硬件交互和數據流基礎操作的功能。它負責從物理接口讀取原始數據,進行初步處理(如編解碼),并將數據傳遞給上層算法層,同時也接收上層指令控制硬件。
包含的關鍵模塊/功能:
讀取 (Read): 從硬件接口(如 USB)獲取原始事件數據流。
寫入 (Write): 用于將處理后的數據或控制指令發送回硬件(如果支持)。
設置 (Setting): 配置相機參數(如分辨率、靈敏度等)。
解碼器 (Decoder): 如果事件數據以特定格式編碼傳輸,負責將其解碼為可處理的格式。
編碼器 (Encoder): 用于將處理后的數據或錄制的流編碼為特定格式。
作用: 它抽象了底層硬件的細節,為上層算法層 (shimetapi_Hybrid_vision_algo) 提供了一個統一的、相對硬件無關的接口來訪問和控制事件相機數據流。它處理底層的通信協議、數據搬運和基礎格式轉換。
三、總結兩者的關系與協作
shimetapi_Hybrid_vision_toolkit (工具包/HAL層):
直接與硬件和底層系統SDK 打交道。
負責獲取原始數據 (Read),進行基礎格式轉換 (Decoder),控制硬件(Setting),并輸出數據(Write, Encoder)等。
向上層 (algo 層) 提供 標準化的數據訪問接口 。
shimetapi_Hybrid_vision_algo (算法層):
構建在 toolkit 層之上。
接收來自 toolkit 層的 標準化事件數據流 。
利用其包含的高級算法模塊 (Denoise, Interpolation, CV/CV3D 等) 對數據進行 處理、增強、分析和理解 。
將處理后的、更有價值的信息提供給最上層的應用程序 (APP)使用(如顯示 UI、Player 播放、Recorder 錄制、Analyzer 分析)。
兼容不同廠商接口(目前支持ShiMetaPi HV Toolkit和Openeb)。
開源地址鏈接[github]
https://github.com/ShiMetaPi/shimetapi_hybrid_vision_algo
https://github.com/ShiMetaPi/shimetapi_hybrid_vision_toolkit
[gitee]
https://gitee.com/ShiMetaPi_0/shimetapi_hybrid_vision_algo
https://gitee.com/ShiMetaPi_0/shimetapi_hybrid_vision_toolkit
審核編輯 黃宇
-
相機
+關注
關注
4文章
1468瀏覽量
54688 -
RGB
+關注
關注
4文章
807瀏覽量
59929 -
SDK
+關注
關注
3文章
1077瀏覽量
49097
發布評論請先 登錄
工業相機圖像采集卡:機器視覺的核心樞紐


【「# ROS 2智能機器人開發實踐」閱讀體驗】視覺實現的基礎算法的應用
用于任意排列多相機的通用視覺里程計系統




機器視覺系統硬件組成之工業相機篇


網絡研討會: Teledyne FLIR IIS Forge 5GigE高速高精度機器視覺工業相機

評論