女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

車載視覺是自動駕駛的難已突破的屏障

安富利 ? 來源:未知 ? 作者:工程師李察 ? 2018-07-21 11:12 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

今天,大家對自動駕駛都充滿了期待,任何一場科技大秀上,總少不了自動駕駛的身影。不過與之伴生的,還有與自動駕駛相關的事故數量的增加,特斯拉、Uber前后腳都發生了在(準)自動駕駛狀態下的致死事故。

可能你會覺得自動駕駛商用進程有些慢,現在的方案還不靠譜兒,但考慮到其應用場景的特殊性,以及開發上的難度,你就不會有太多抱怨了。比如就車載視覺處理,這個自動駕駛的核心要素來說,其對開發者提出的挑戰就不一般。

姑且不提自動駕駛,今天想做好一款像樣的ADAS就不簡單。一方面,ADAS視覺處理需要應對越來越復雜的應用環境,暗光、惡劣天氣下也要確保可靠的表現;另一方面,為了提升視覺系統識別判斷的準確性,甚至讓其具有自我學習提升的能力,引入機器學習神經網絡AI算法也勢在必行。

這些需求必然會增加視覺處理工作的復雜性和負荷,耗費更多的計算資源和時間,而這又恰恰和車載應用這個資源受限的嵌入式環境,以及“硬”實時性的要求構成矛盾……這就是車載視覺應用開發者每天面對的困局。

圖1,車載視頻處理典型流程

要想“破局”,我們首先來看看車載視覺處理典型的流程。這個流程包括四個步驟:

1

第一步

預處理:包括成幀、顏色調整、白平衡、對比度均衡、圖像扭正等工作,這種像素級的處理特點是數據量非常大,而且每像素之間相互獨立,彼此沒有很強的依賴關系,要求高帶寬的并行數據處理能力。

2

第二步

特征提取:是在預處理的基礎上,提取出圖像中的特征點,特別是關鍵的邊緣角點。

3

第三步

目標識別:基于特征數據的輸出,對圖像中的物體進行識別分類——人、車、交通標志等,這其中就會運用到一些機器學習、神經網絡的算法。

4

第四步

目標跟蹤:對上述單幀圖像進行記錄,并累計多幀后做出判定,實現穩定的識別和判斷。

通常前三步被認為是底層和中層的處理,運算的并行度較高,第四步由于有前后的邏輯判斷關系,所以屬于順序執行,需要串行處理。可見,車載視覺處理流程中的這些任務,需求各不相同,單一架構的硬件平臺很難滿足所有要求,所以就需要有更加復雜、綜合的異構硬件平臺,以不同的硬件資源去應對不同的計算處理任務,這樣才能勝任。

以恩智浦半導體的S32V車載視覺處理器為例,它對應車載視覺處理的不同步驟配置了不同的針對性的計算單元。

圖2,恩智浦半導體S32V車載視覺處理器框圖(圖片來源:NXP

對于預處理到特征提取這種像素級的工作,S32V提供了一個可編程的ISP(圖像信號處理器),對于流處理進行加速;而其可編程性也為底層處理提供了靈活性,以應對不同應用中的預處理需求。

對于特征提取到目標識別這個層次的處理任務,由于要運行AI算法,特別需要視覺加速,為此S32V引入了兩個專用的APEX-2協處理器,實現高速并行的單指令多數據架構的加速計算。

在目標識別到目標跟蹤高層處理,涉及到串行計算,S32V通過運行頻率高達1GHz的多核Arm Cortex-A53處理器(最高配置可達四核)來完成,同時S32V在處理器系統中還集成了一個頻率高達133 MHz的Cortex-M4內核,去實現一些控制功能,以及實時性的工作。

在加上其他諸如3D GPU、硬件安全加密、存儲和外設接口等功能,S32V構成了一個完整的汽車級的安全嵌入式視覺處理平臺。

但是想做一個完整的方案或產品,有了合適的硬件只是第一步,接下來還需要軟件的配合。在功能受限、功耗敏感的嵌入式視覺應用中,如何實現硬件和軟件之間最優的配合尤為關鍵,也就是說,要將軟件任務放在最合適的硬件單元中運行,充分利用和釋放出硬件的能力。

為了達到這一目的,一個基礎性的工作就是:要對應用中典型的計算模式做出分析和分類,找出有并行加速需求或者潛力工作,將其安排給最適合的硬件去加速。實際的工作中,可以嘗試幾種不同的并行計算加速方式:

數據并行:將需要并行處理的數據,交給有并行計算能力的單元去做,如APEX-2這種專用的協處理器——專用的肯定比通用的處理器速度快。

流水線并行:綜合調度各種計算單元,在同一時間上讓所有單元都處于滿負荷運行狀態,誰也不閑著。

任務并行:在同一時間安排進行不同的視覺處理任務。

經過上述全面的優化,軟硬件的緊密配合,車載視覺處理速度和綜合性能才能得到大幅的提升。

車載視覺是自動駕駛的難已突破的屏障

圖3,車載視頻處理流程和對應S32V硬件資源(圖片來源:NXP)

車載視覺可以說是嵌入式視覺處理領域難度較高的一個領域,需要各方面資源更緊密的協作、全方位的配合——硬件開發者需要充分理解目標應用的需求,提供最高效的硬件加速架構;軟件開發者也要吃透硬件的特性,合理調配資源,將硬件性能發揮到極致。雖然不容易,但這就是我們通往自動駕駛的必由之路。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 硬件
    +關注

    關注

    11

    文章

    3478

    瀏覽量

    67416
  • 車載視覺
    +關注

    關注

    0

    文章

    16

    瀏覽量

    8808
  • 自動駕駛
    +關注

    關注

    788

    文章

    14292

    瀏覽量

    170413

原文標題:嫌自動駕駛不靠譜?那你先來看看車載視覺處理有多難

文章出處:【微信號:AvnetAsia,微信公眾號:安富利】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    SONY FCB-CR8530,如何重塑自動駕駛視覺感知格局?

    自動駕駛技術快速發展的當下,車輛對周圍環境的精準感知是確保安全與高效運行的關鍵。凱茉銳電子SONY FCB-CR8530攝像機憑借其卓越性能,正逐漸成為自動駕駛領域視覺感知系統的核心組件。
    的頭像 發表于 06-25 17:54 ?149次閱讀

    視覺自動駕駛會有哪些安全問題?

    強調視覺系統的先進性。純視覺自動駕駛是指在車輛自動駕駛系統中僅依賴攝像頭而不使用激光雷達或毫米波雷達等主動傳感器。特斯拉率先倡導這一路線,宣稱模擬人類
    的頭像 發表于 06-16 09:56 ?210次閱讀
    純<b class='flag-5'>視覺</b>的<b class='flag-5'>自動駕駛</b>會有哪些安全問題?

    視覺自動駕駛如何理解路邊畫報上的人?

    行業來說,其實是一個值得深思的問題。隨著自動駕駛技術下沉到消費市場,基于純視覺自動駕駛系統就是依托于車載攝像頭來識別路況,如果遇到了類似海報上的人,尤其是遇到了與真人大小類似的人物海
    的頭像 發表于 05-19 09:16 ?198次閱讀

    自動駕駛大模型中常提的Token是個啥?對自動駕駛有何影響?

    近年來,人工智能技術迅速發展,大規模深度學習模型(即大模型)在自然語言處理、計算機視覺、語音識別以及自動駕駛等多個領域取得了突破性進展。自動駕駛作為未來智能交通的重要方向,其核心技術之
    的頭像 發表于 03-28 09:16 ?352次閱讀

    2024年自動駕駛行業熱點技術盤點

    自動駕駛技術日新月異,每一年都會有新的突破。2024年的自動駕駛,更是出現了許多新的技術路線,其中包括城市NOA(Navigate on Autopilot)、Robotaxi、端到端解決方案、重
    的頭像 發表于 01-14 10:48 ?599次閱讀

    自動駕駛汽車安全嗎?

    隨著未來汽車變得更加互聯,汽車逐漸變得更加依賴技術,并且逐漸變得更加自動化——最終實現自動駕駛,了解自動駕駛汽車的安全問題變得非常重要,這樣你才能回答“自動駕駛汽車安全嗎”和“
    的頭像 發表于 10-29 13:42 ?1081次閱讀
    <b class='flag-5'>自動駕駛</b>汽車安全嗎?

    自動駕駛HiL測試方案案例分析--ADS HiL測試系統#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發布于 :2024年10月22日 15:20:19

    自動駕駛技術的典型應用 自動駕駛技術涉及到哪些技術

    自動駕駛技術的典型應用 自動駕駛技術是一種依賴計算機、無人駕駛設備以及各種傳感器,實現汽車自主行駛的技術。它通過使用人工智能、視覺計算、雷達、監控裝置和全球定位系統等技術,使
    的頭像 發表于 10-18 17:31 ?1860次閱讀

    自動駕駛HiL測試方案介紹#ADAS #自動駕駛 #VTHiL

    自動駕駛
    北匯信息POLELINK
    發布于 :2024年10月12日 18:02:07

    激光雷達與純視覺方案,哪個才是自動駕駛最優選?

    主要分為兩大類:激光雷達與視覺感知。激光雷達因其能夠提供精確的距離和形狀信息,在自動駕駛技術早期的開發中被廣泛應用。然而,隨著計算機視覺技術的飛速進步,基于攝像頭的純視覺感知方案逐漸嶄
    的頭像 發表于 09-29 10:47 ?1120次閱讀

    NVIDIA Research端到端自動駕駛模型引領國際挑戰賽

    NVIDIA 在國際計算機視覺與模式識別會議(CVPR)上展示了用于自動駕駛汽車開發的加速計算和生成式 AI 的突破技術。
    的頭像 發表于 09-09 10:11 ?803次閱讀

    FPGA在自動駕駛領域有哪些優勢?

    FPGA(Field-Programmable Gate Array,現場可編程門陣列)在自動駕駛領域具有顯著的優勢,這些優勢使得FPGA成為自動駕駛技術中不可或缺的一部分。以下是FPGA在自動駕駛
    發表于 07-29 17:11

    FPGA在自動駕駛領域有哪些應用?

    控制。在視覺算法方面,FPGA利用自身并行處理和高速存儲器的特點,極大地加快了算法的執行速度,提高了運算效率。 五、未來發展趨勢隨著自動駕駛技術的不斷發展,FPGA在自動駕駛領域的應用將會更加廣泛
    發表于 07-29 17:09

    商湯絕影自動駕駛小巴助力深圳完善智能網聯汽車布局

    日前,深圳巴士集團獲批開行B998等4條自動駕駛公交線路并已取得深圳市智能網聯汽車載人示范應用資質,多輛新能源自動駕駛小巴開啟試運行的測試準備,預計在7月底,前海即將迎來深圳市第一條
    的頭像 發表于 07-23 10:54 ?1096次閱讀