女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

快速掌握MIPI開發攻略,對接百度人工智能計算卡EdgeBoard

云創硬見 ? 2019-09-06 21:34 ? 次閱讀

摘要:MIPI攝像頭以其體積小、傳輸速率快的特點在電子產品中得到廣泛的應用,現在也廣泛地適配到AI端上推理設備。本文以百度的AI端上推理設備EdgeBoard為硬件基礎,介紹基于FPGA的MIPI相關技術的開發。

MIPI(移動處理器接口)是Mobile Industry Processor Interface的縮寫,是MIPI聯盟發起的為移動應?處理器制定的開放標準。MIPI?高速串口傳輸數據,滿?高分辨率攝像頭的傳輸需求,采用串方便PCB布局布線,提信號完整性,也有利于減PCB面積。MIPI的攝像頭一般體積,適合于小型的嵌入式設備,比如手機車記錄儀等,同時也廣泛應用到AI端上推理設備。本以百度的端上推理設備EdgeBoard作為原型來介紹MIPI相關技術的開發。如果用戶購買EdgeBoard,出廠的鏡像中帶有MIPI的功能,只需再購買推薦的MIPI攝像頭,即可實現即插即

MIPI介紹

MIPI分為兩類,DSI (Display Serial Interface),提供處理和顯示模組之間的高速串行口;二是CSI (Camera Serial Interface),提供處理和攝像模組之間的高速串行口。本文將要介紹的是CSI-2

MIPI信號采用低壓差分信號進行傳輸,具有傳輸速率快,抗干擾能力強的特點。MIPI的傳輸模式分為低速信號模式和高速信號模式,低速信號用于控制命令(10 MHz),高速信號用于數據傳輸(80Mbps -1Gbps/lane)。時鐘處于非連續工作狀態,根據傳輸狀態進時鐘的切換,這樣可以極大地降低功耗。關于D-PHY可參考MIPI?Alliance Specification for D-PHY

MIPI最多可支持4通道數據,同時配有IIC總線進配置,收發接口如下圖

MIPI協議也是采用類似于以太網協議結構,采用分層設計的思想,分為PHY LayerProtocal LayerApplication Layer

MIPI傳輸的報文中定義了圖像數據的類型/格式(Data type),這些類型/格式方便在調試的時候確定鏈是否工作正常,常用的Data Type如下圖,比如YUV的數據格式的標示符是0x180x1F,期間的數值定義了具體的格式,比如YUV422YUV444等,具體可參考MIPI Alliance Specification for CameraSerial Interface 2

硬件相關

MIPI電平

MIPI的電平標準分為LP (Low Power)模式和HPHigh Power)模式,LP模式下高電平最大值1.3V,最1.1V,典型值為1.2VHP模式下共模電平200mv,擺幅200mV

D-PHY

1、Ultrascale系列FPGA使MIPI_PHY_DCI的電平,digital control impedence,如果是mipi的數據率很高時,比如lane rate高于1000Mbps,需要開啟100Rtermination

2、如果使K7系列的芯片,由于其不支持MIPI_PHY_DCI電平,可以通過LVDS電平轉換而來,可以參Xilinx的官方文檔D-PHY solutionsXAPP894,提供了完整D-PHY層的解決方案。

Note1對于Vivado 2018.2以下的版本,如果MIPI線速率很高,比如1500Mbps,需要在xdc約束文件中添加termination約束,針對Ultrascale做以下操作:

MIPI引腳分配和BANK電壓

1.EdgeBoard中使用的是Xilinx Ultrascale+系列MPSoCMIPIIO必須放置在HP Bank

2.MIPI_PHY_DCI的電平對Bank的要求苛刻,BankVCCO必須設定為1.2V,同時BANKVREF推薦端接240R。如果Bank中有其他電平標準,比如1.8V的電平,在implementation過程中會報錯。

3.MIPI-CSI-RX IP帶有Pin assignment的功能,可進引腳分配的驗證,參考后文的MIPI IP配置。

Layout

D-PHY的標準規定總的傳輸延遲不能超過2 ns,對應到FR4材質的PCB大的走線長度是25cm30cm,包括從發送端到接收端,這決定了MIPI支持的傳輸距離在30cm左右,參考AN-1337D-PHY。同時PCB走線必須匹配100歐姆的端接。

EdgeBoardMIPI

EdgeBoardMIPI最多支持4通道,可以根據需要選擇性使用,用戶通過排線與EdgeBoard連接即可,注意排線不要過長,最好小于10cm

開發

Vivado

Vivado工具中的視頻IP也是在逐步開發完善中,其中難免會遇到各種意想不到的bug,不過好在Xilinx的官論壇維護地很好,只要發帖提問,短時間內就會得到專門技術人員的回答,同時針對出現的BugXilinx方也會定期發布相應的patchVideo論壇中積攢的各種帖子也為后續的開發者提供了解決問題的途徑。

1.如果使2017版本的VivadoMIPI CSI RX IP能處理MIPI鏡頭時鐘缺失的問題,參考AR70581。解決該問題,參考AR70530patchpatch打成功之后,在Vivado軟件界面提示AR70530。如果使2018之后的版本,則不存在這個問題,不需要打patch

2.MIPI-CSI-RX license需要購買才能使用,功能驗證階段可以在Xilinx網申請Evaluation license但是evaluation license生成的bit文件,會間歇性停止工作,無法用到真正的產品里面

License申請參考下文申請Xilinx Evaluation License

3. Github也有開源的MIPI CSI2 IP,該IP針對Xilinx 7 Series FPGA,可以支持到4K的分辨率,采VHDL開發,但僅支持4通道的MIPI攝像頭。

4.推薦使2018.3及以上的版本進MIPI的開發。

MIPI IP的配置

1.根據MIPI攝像頭的參數進基本的設置,主要包括顏色格式、通道數、線速率等。其中線速率最好高于MIPI攝像頭的速率,在MIPI IP的內部有一個FIFO緩沖數據,MIPI IP讀出速率高于MIPI鏡頭的寫入速度,可以確保不丟幀。

2.在硬件設計之前就需要進引腳驗證,由于MIPI對于引腳要求相對苛刻,謹慎為好。

MIPI后續處理IP

面的MIPI IP只是負責從前端攝像頭拿到數據,還需要其他IP后續的處理才能得到完整的視頻。

Demosaic

也稱之為interolation,通過相鄰像素的色彩經過插值算法構建出一副標準色彩的圖像,實現BayerRGB的轉換。

攝像頭的感光sensor輸出的每個像素不是標準的RGB,每個像素只是三原色中的一種,后期通過插值算法恢復出RGB標準顏色,該方法由柯達科學家Bayer士提出,該方法被稱之為Bayer

感光sensor內部帶有color filter array(濾色鏡),通過放置不同的原色的filter過濾出單個像素的顏色,每個像素是單個的色彩(RGB中的一種),也稱之為RAW數據,后端ISP中通過插值算法恢復到標準的RGB。下圖是兩種濾色方法,一種是RGB一種是CMY印刷四分色模式)。

NOTE使Demosaic IP時,需要制定sensor的左上角的第一個像素是什么顏色,不同的sensor起始像素顏色不同。在DemosaicBAYER_PHASE (0x0028) Register中進設定,參考文檔SensorDemosaic

IP配置如下:設定每個時鐘的像素個數,像素數據寬度以及分辨率。

Gamma Correcttion

Gamma矯正的目的是將線性亮度信號或者RGB編碼矯正成適合顯示器顯示的非線性數據。IP使Gamma LUT,該IP免費,具體配置見下圖

Video Process Subsystem

Video process subsystem IP具有視頻處理的多種功能,針對MIPI可以使color space conversion,實現YUV444或者RGB色彩的矯正,提升視覺效果。

注:以上的IP設置均基于Vivado 2017.4版本,2018及以上版本會略有不同,根據我們的開發經驗,推薦使2018.3版本。

EdgeBoardMIPI攝像頭數據流

EdgeBoardMIPI攝像頭數據流如下圖,當用戶購買EdgeBoard后,然后搭配我們推薦的MIPI攝像頭,即可做到即插即

關鍵寄存器

Xilinx MIPI IPD-PHY對于開發者來說是黑盒子,如果開發中遇到問題,只能通過寄存器的方式來跟蹤問題,現介紹一些關鍵的寄存器。通過跟蹤這些寄存器的狀態,可以定位排查問題。

D-PHY關鍵寄存器

首先是判斷D-PHY工作狀態,在MIPI IP設置中需要Enable D-PHY Register Interface

1. Control Register

1.查看D-PHY是否已經使能

2. CL_STATUS RegisterCL -> Clock Lane

1.查看clock lane是否處于stop狀態

2.查看通道是否完成初始化

3.查看工作模式

3. DL_STATUS Register (DL -> Data Lane)

1.查看data lane是否處于stop狀態

2.查看通道是否完成初始化

3.查看工作模式

CSI2-RX關鍵寄存器

1. Core Configuration Register

1. Enable core

2. Protocal Configuration Register

1. Lane number:硬件沒問題的話,可以看到MIPI攝像頭使用的通道數

3. Core Status Register

1.統計收到的packet

4.查看FIFO是否滿,如果數據及時讀出,是不會出現滿的情況

5. Interrupt Status Register

1.這是排查問題的重要寄存器,各種問題引起的中斷都會寫入到該寄存器中

6.如果出現ECC的錯誤,大概率是硬件信號完整性問題

7. Generic short Packet Register

1.查看圖像格式,在該寄存器能看到對的Data Type,基本可以說明硬件設計沒問題

8. Clock Lane Information Register

1.查看clock工作狀態

9. Lane Information Register

1.查看每個lane工作狀態,每個lane是始終處于工作狀態,也會處于inactive狀態

附:申請Xilinx Evaluation License

1.首先需要有一個Xilinx方賬號,然后進入到Evaluation License網址申請,申請如下:

2.點擊search now,輸mipi關鍵字,勾選MIPI RX

3.Evaluation License需要綁定主機的MAC地址,點擊Generate Node-Locked License,然后設置需要綁定的MAC地址

4.很快在個人注冊的郵箱里會收到Xilinx方發布的lic文件,將其導入到Vivado工具即可。

NOTEEvaluation License僅限于測試MIPI IPMIPI攝像頭的工作狀態,不用于發布產品,其內部帶有計數器,連續使用小時后會停止工作。



聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    百度智能云發布昆侖芯三代萬集群及DeepSeek-R1/V3上線

    01百度智能云點亮昆侖芯三代萬集群 近日,百度智能云成功點亮昆侖芯三代萬集群,這也是國內首個
    的頭像 發表于 02-11 10:58 ?591次閱讀

    百度成功點亮國內首個昆侖芯三代萬集群

    近日,百度智能云宣布了一項重大技術突破:成功點亮了國內首個自研的昆侖芯三代萬集群。這一里程碑式的成就標志著百度在AI芯片領域取得了顯著進展。
    的頭像 發表于 02-06 17:52 ?995次閱讀

    百度智能云點亮昆侖芯三代萬集群

    近日,百度智能云宣布成功點亮昆侖芯三代萬集群,這一成就不僅在國內尚屬首次,也標志著百度人工智能算力領域取得了重大突破。據了解,
    的頭像 發表于 02-05 14:58 ?540次閱讀

    中科曙光榮獲2024年度人工智能卓越獎

    近日,第八屆海南人工智能與大數據產業發展大會在海口市召開,中科曙光榮獲“2024年度人工智能卓越獎”,中科曙光控股公司中科天璣憑借天羅輿情監測分析系統榮獲“2024年年優秀數據產品獎”。
    的頭像 發表于 01-07 09:36 ?657次閱讀

    凌智電子榮獲“百度AI技術生態伙伴”認證

    2024年10月,百度飛槳(廈門)人工智能產業賦能中心(以下簡稱“百度飛槳廈門中心”)建成并試運營。該中心位于廈門軟件園一期,由廈門市思明區人民政府、廈門火炬高新區管委會攜手百度在線網
    的頭像 發表于 01-04 14:10 ?494次閱讀
    凌智電子榮獲“<b class='flag-5'>百度</b>AI技術生態伙伴”認證

    ElfBoard開源項目|百度智能云平臺的人臉識別項目

    百度智能云平臺的人臉識別項目,旨在利用其強大的人臉識別服務實現自動人臉識別。選擇百度智能云的原因是其高效的API接口和穩定的服務質量,能夠幫助開發
    的頭像 發表于 12-24 10:54 ?1156次閱讀
    ElfBoard開源項目|<b class='flag-5'>百度</b><b class='flag-5'>智能</b>云平臺的人臉識別項目

    蘋果與百度攜手,2025年將在華推出Apple Intelligence

    近日,據外媒最新報道,蘋果公司已與百度達成合作,計劃于2025年在中國市場推出名為Apple Intelligence的生成式人工智能服務。該服務將依托百度最先進的文心大模型4.0,為iPhone
    的頭像 發表于 12-05 11:11 ?1809次閱讀

    嵌入式和人工智能究竟是什么關系?

    領域,如工業控制、智能家居、醫療設備等。 人工智能計算機科學的一個分支,它研究如何使計算機具備像人類一樣思考、學習、推理和決策的能力。人工智能
    發表于 11-14 16:39

    李彥宏宣布:百度文心大模型日調用量超15億

    百度世界2024大會上,百度公司創始人李彥宏宣布了一項令人矚目的數據:百度文心大模型的日調用量已經超過15億次。這一數據不僅彰顯了百度人工智能
    的頭像 發表于 11-12 10:40 ?506次閱讀

    百度將發布AI智能眼鏡

    近日,有知情人士透露,百度旗下的人工智能品牌小計劃在即將舉行的百度世界大會上推出一款全新的AI智能眼鏡。這款眼鏡將內置先進的
    的頭像 發表于 11-11 14:50 ?848次閱讀

    risc-v在人工智能圖像處理應用前景分析

    和使用該技術,無需支付專利費或使用費。這大大降低了人工智能圖像處理技術的研發成本,并吸引了大量的開發者、企業和研究機構參與其生態建設。 靈活性則體現在RISC-V可以根據不同的應用場景進行定制和優化,從而
    發表于 09-28 11:00

    百度舸AI計算平臺4.0震撼發布

    在2024年百度云智大會的璀璨舞臺上,百度智能云重磅推出了舸AI異構計算平臺的全新力作——4.0版本。此次升級,標志著
    的頭像 發表于 09-26 14:46 ?783次閱讀

    FPGA在人工智能中的應用有哪些?

    定制化的硬件設計,提高了硬件的靈活性和適應性。 綜上所述,FPGA在人工智能領域的應用前景廣闊,不僅可以用于深度學習的加速和云計算的加速,還可以針對特定應用場景進行定制化計算,為人工智能
    發表于 07-29 17:05

    百度推出全新智能代碼助手文心快碼,引領編碼效率新革命

    在6月28日的百度WAVE SUMMIT深度學習開發者大會上,百度公司宣布了其旗下備受矚目的智能代碼助手Baidu Comate的正式中文名稱——“文心快碼”。這一創新工具的問世,標志
    的頭像 發表于 06-29 16:26 ?1238次閱讀

    百度WAVE SUMMIT深度學習開發者大會,文心大模型4.0 Turbo震撼發布

    6月28日,科技界的目光聚焦在了百度WAVE SUMMIT深度學習開發者大會上,這場盛會不僅是技術交流的盛宴,更是百度展示其在人工智能領域最新成果的舞臺。在此次大會上,
    的頭像 發表于 06-28 16:30 ?730次閱讀