這一次，熊貓君分享一個內窺鏡的技術實現方案。內窺鏡的方案很多：主處理器有用專用ASIC的，比如日、臺、韓的相機ASIC；有用專用CPU的，比如海思、瑞星微和君正等。熊貓君的這個是基于Xilinx ZYNQ的低成本方案。

縱觀中低端的內窺鏡用圖像傳感器，主要是以OV的為主，熊貓君接觸和實現過的主要有OV6946+OV426、OV6948+OV426、OV9734、OH02A1S（帶近紅外增強）、OH0TA10+普通ADC（這顆料據說是業界最小，400×400相素，封裝尺寸只有550μm*550μm）、DH01A10等等，接口有模擬的、MIPI和LVDS；另外還有就是艾邁斯的NanEyeM，320×320相素，接口用的是內嵌碼的LVDS，需要高速時鐘過采樣才能接收，比較麻煩。對OV的Sensor而言，模擬輸出通過ADC采樣后一般可以轉為LVDS或DVP接口，MIPI輸出的因為分辨率和幀率都較低，速率不會太高（lane速率＜800Mbps），完全可以用ZYNQ加電阻網絡來接收圖像。

一、硬件方案

以下我們以OV的DH01A10為例來敘述，DH01A10實際上算是OV6946的升級版本，同樣是400×400相素的，區別是工藝更加先進：（1）近紅外波段成像增強；（2）靈敏度高達3600mV/lux-sec（OV6946只有1000mV/lux-sec，整整是3.6倍）；（3）封裝尺寸只有550μm×550μm，1/36”（業界最小，差不多是OV6946的1/4）;（4）輸出接口驅動能力為4米，可用用OV426接收，也可用其它ADC方案來搭。因此，相較于OV6946而言，DH01A10近紅外成像，成像質量更高，驅動能力更強，不再有豎條紋狀非均勻性現象。那么，對于一般的手術用或檢查用臺式機，系統的硬件框圖如下圖1所示。

圖1 基于ZYNQ的醫療內窺鏡硬件框圖

如上圖1所示，醫療手持式或臺機對體積和功耗沒有較高的要求，接口要求比較豐富一些，比如可以通過千兆網和USB接口導出錄制的視頻和拍攝的照片，可以通過網絡配置機器的參數，有按鍵和觸摸屏可以操控機器，有HDMI可以接入到通用顯示器等等。一般的，拍照存儲為JPEG格式，視頻存儲為mp4或avi格式，存儲在內部的大容量eMMC中。通常的，會將攝像頭模組做成模塊化可拆卸裝置，作為一個耗材出現。

二、軟件方案

在這個系統中，ZYNQ實現了軟硬件協同處理，軟件方案圖如下圖2所示。在PL上，主要實現了Sensor驅動（圖像采集和寄存器配置等）、ISP處理、JPEG視頻編碼以及eDP或LVDS屏的驅動。在PS上，上層框架基于QT，實現了產品UI、觸摸屏、操控接口、視頻的編解碼、視頻的錄制、存儲、預覽和回放，照片的拍攝、保存和回看等功能，以及配置FPGA進行初始化、自動曝光和自動擺平和的配置工作。從器件性能上來說，ZYNQ-7000系列的ARM是雙核Cortex-A9，-2速度的也最多只能跑到766MHz，因此優化這個系統使視頻錄制和顯示達到實時性的要求，所需要做的工作量很大，也需要linux和fpga層面協同做很多的處理，可謂是將芯片的性能運用到了極致。即使這樣，arm端實現h.264編碼也只能保證400*400/30fps的實時性，高于此規格的均由FPGA來進行Motion JPEG編碼，最終封裝為AVI視頻保存。回放時解碼相對簡單，ARM運算即可滿足要求。本系統最高支持1080P/30fps的流處理。在ISP上，系統還需針對醫療及sensor做一些特殊的處理，比如大多數的OV6946而言有豎條紋，此時要做非均勻性校正算法，此類senor的動態范圍普遍偏低，還需要做一些對比度拉升或銳化處理使之看起來更加的銳利一些，有些還會有針對性進行調色處理等等。

圖2 基于ZYNQ的內窺鏡軟件方案

總體來說，中低端的內窺鏡前端設備不會涉及到專業的醫療軟件自動成像分析，主要還是檢查和手術過程中現場人工查看和分析這些影像。即使有自動軟件分析的需求，這些一般是通過接口傳輸影像數據到PC端后另行專業軟件處理。

更為高端的腹腔鏡之類，方案有用海思的，也有用ZYNQ UltraScale+ MPSoC帶Codec那款的，國外的頭部的也有用高端FPGA+高端的自有ASIC芯片的，總之整個技術難度要上一個很大的臺階。

另外，現在甚為流行的膠囊內窺鏡，則走的另外一條低功耗的路子，傳感器性能不一定高，要求無線傳輸圖像，幀率可能是1~2Hz，也可能是觸發式的，但是有一個極低功耗的要求和一個很小體積的要求，一般要求能夠工作（休眠）數個小時。目前市面現有的產品也有采用低功耗FPGA（actel的）加MSP430單片機的方案（熊貓君拆過研究過一兩款現有產品，也動過折騰一款的念頭）。

三、其他

在當前的形勢下，熊貓君這邊的中低端內窺鏡方案主要還是集中在基于ZYNQ-7010、瑞星微RV1126這兩個平臺上，也有海思和ZU4EV的，但是這倆一個是拿到芯片不容易，一個是太貴了，代價太高了，風險也太高了，其他的總是差點啥，不是這里性能不夠，就是那里接口少了。總之，希望其他國產能夠崛起，實現一個小目標：達到海思Hi3559的水平。

熊貓君這邊有成熟的基于ZYNQ-7000和RV1126的完整方案和整機，也歡迎感興趣的朋友蒞臨現場指導。如果您需要，而我恰恰也有的話，我們或許就能愉快的合作一把呢。

審核編輯：湯梓紅