視頻處理。計算機視覺。
當然可以利用CPU處理這些任務,但是有了更加強大高效的Hexagon? 680 DSP在手,還需要這樣嗎?
過去幾年,開發人員一直在利用 Hexagon SDK,量身定制 DSP,處理音頻、圖像與計算 。在 HotChips 半導體會議上,我們揭開了即將上市的 Snapdragon 820 處理器中全新 Hexagon DSP 的部分面紗。這款 Hexagon 680 DSP ,集成寬幅向量處理 Hexagon 向量擴展(HVX)核心,充分利用新的DSP 應用實例。
集成 HVX 意味著現在可以將CPU從處理視頻與攝像中解放出來,轉由 Hexagon DSP 以較低功耗快速處理圖像。我們已經發布了 Hexagon SDK 2.0 HVX 擴展,你可以在管線中加入自己的算法,利用DSP進行處理。
全新寬幅向量處理HVX核心照像、計算機視覺(CV)與視頻耗電量巨大,迫切需要從CPU卸載,以減輕負擔。Hexagon 設計人員利用 HVX 核心,加入寬幅向量處理,實現高性能與低功耗。
你可以在三個主要方面利用 HVX:
1.視頻處理——利用你的算法,提升解碼視頻輸出質量。SDK 擴展補充,提供框架,允許開發人員創建端對端應用,處理解碼視頻幀。我們提供的擴展示例專注兩個方面:
?Android 端視頻處理應用,可以作為 Android 多媒體管線與其它Android視頻應用相結合的出發點。
?Hexagon 端視頻處理算法,可以作為創建在Hexagon和HVX運行的算法的出發點。
2.相機后處理與CV——我們在擴展中包含了一些示例,包括一個端對端.apk ,實時接收相機輸入,運行CV處理,并發送給顯示屏。我們提供了一個簡單算法動態應用,你可以替換成你希望在照相機預覽路徑運行的其它算法。
3.相機播放——傳感器與攝像前端直接連接,HVX 還包括針對傳感器、Hexagon DSP與攝像前端的硬件協議接口。你可以借助這個接口利用HVX,在傳感器與攝像前端硬件引入DSP 處理(例如,利用非標準傳感器或執行像素矯正)。SDK 中有一個例子告訴你如何創建所需的Hexagon庫,并連接Android攝像機管線。
所有三個應用實例中,你的算法再也不必在軟件中緩慢運行了。而且,你可以將DSP定制服務更輕松地集成于OEM創建流程。
總之,如果管線其余部分已經就緒,擴展是開發人員增加自己后處理算法的正式方法。以前也可以利用Hexagon處理視頻、CV、照相,但是,HVX 更勝一籌,可以處理更大尺寸與分辨率的圖像,并能更快地運行算法(見下表)。
進一步利用 Hexagon SDK 2.0 HVX 擴展
準備好在HVX上嘗試你自己的圖像處理算法了嗎?搭載Snapdragon 820的設備將很快面世;同時,你可以在Hexagon SDK模擬器中測試你創建的算法。
敬請留意不久發布的硬件:全新移動開發平臺(MDP)與全新DragonBoard開發工具包,很快就可在Intrinsyc購買。
如果你具有Hexagon DSP開發經驗,記得獲取 Hexagon SDK 2.0 HVX 擴展方面的新聞。如果沒有,請申請獲得Hexagon SDK。讓你的圖像處理從ARM卸載,由DSP接手。
?更多Qualcomm開發內容請詳見:Qualcomm開發者社區。
評論