4、3D拍攝以及3D建模
3D拍攝和3D建模的算法其實跟距離應用有點類似,只是它的精度要求更高,甚至有時會需要用紅外測距進行更準確的距離判斷。
提到雙攝像頭的算法,不得不提到ISP(Image SignalProcessing圖像信號處理器),ISP主要作用是對前端圖像傳感器輸出的信號做后期處理,主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等,依賴于ISP才能在不同的光學條件下都能較好的還原現場細節,ISP技術在很大程度上決定了手機的成像質量。
功能機時代,ISP都是做在攝像頭上的,不同像素的攝像頭搭配不同性能的ISP。隨著手機攝像頭像素越來越高,對ISP性能的要求越來越高,若將ISP集成到攝像頭Sensor上,勢必造成攝像頭的模組過大,甚至影響拍照效果。所以智能機時代,ISP一般都是在主芯片SoC上。部分品牌客戶為了實現更好的效果,甚至不惜成本的外加一顆ISP用來達到更好更專業的拍照效果。
好的拍照算法就需要搭配好的ISP,ISP和算法相輔相成,缺一不可。而雙攝像頭對ISP性能要求更多。首先,為了使左右攝像頭的信號能夠同時被處理,單一的ISP已經無法滿足雙攝像頭的需求。這就需要雙路ISP實現此功能。
以暗光增強為例,彩色/黑白圖像分別進入各自的ISP通道和校準通道,然后將兩副圖片做匹配(如將兩幅圖片相同的部分提取出來,去除只有一個攝像頭拍到的部分),然后通過遮擋,檢測,補償等算法處理相關的圖片。最后將兩幅圖片融合起來,實現顏色的增強。當然實際上ISP配合算法做的事情,遠遠比這圖片上寫的要多。
當然,在這里面也有一個小小的插曲。畢竟是兩個ISP,兩個ISP多少有一些處理速度、處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣,就需要雙攝像頭拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝像頭的同步信號對接,在每次讀取圖片時,將圖片都打上一個時間戳,ISP通過時間戳,保證左右攝像頭拍出來的照片在同一時間拍攝,最終再進行融合。
不同于一般的3D電影的拍攝。手機上的兩個攝像頭無法在圖像的拍攝過程中就產生足夠的視覺差,這是由于兩個攝像頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯地得到3D視覺效果。所以往往需要算法進行增強。由于可以測出距離,后續的雙攝像頭不僅僅可以實現3D攝影,還可以進行3D建模,到這個時候,我想雙攝像頭的重要性則會更加重要。其他的效果增強,比如HDR、提高分辨率,這些功能其實單攝像頭也可以實現,只是雙攝像頭可以讓效果更好,就不一一列舉了。
現在我們就重點來說說雙攝像頭的產業鏈。
1、雙攝像頭算法供應商
由于算法是需要跟ISP配合的,所以算法和ISP是相輔相成的,想把算法做好,也得有好的ISP。
作為主平臺供應商,高通/聯發科都有自己的ISP,所以也自己開發了雙攝像頭算法。至于其算法好壞,還有待市場的檢驗。
而作為Sensor供應商,Sony、Samsung、OV也在積極開發雙攝算法,暫時也沒有看到量產的產品。不過在功能機時代,是沒有ISP的。這些Camera sensor的供應商做2M/5M的時候,都得搭配自家的ISP,所以這些供應商都是有自己開發ISP的經驗。所以開發雙攝像頭算法,相對來說也是有相關的經驗的。
Apple去年收購了Linx,也擁有了多攝像頭的專利和算法,是否會用在自家的雙攝像頭機型,那就看今年的iPhone7。理論來上說,Linx有足夠多的算法,所以Apple不至于跟某大廠去買雙攝像頭的IP授權。
除了這些平臺,sensor供應商和智能機的品牌商會自己開發雙攝像頭算法外,其他供應商我們一一列舉一下:
1996年成立于***的華晶,主要開發獨立的ISP芯片。部分高端手機、相機和車載都有用其ISP的案例。雙攝像頭手機也有用其ISP的。距離應用、光學變焦和暗光補償都有所建樹。
一家以色列的公司。其算法的優勢主要在光學變焦和暗光補償上。景深方面,也有一定的研究。從媒體宣傳來看,hTC有機型采用了其算法。
虹軟成立于1994年,總部在美國,在上海,杭州和南京都有技術中心。虹軟的強項是光學變焦和暗光補償。上一篇里的第二個光學變焦圖和暗光補充的圖就來自虹軟。
上海興芯微是一家成立于2011年的公司,主要從事圖像處理器的研發,目前產品主要應用在車載市場。做為為數不多的研發獨立ISP的公司,目前也在開發雙攝像頭的算法和ISP。在雙攝像頭市場起來后,X-Chip將會是一匹非常有潛力的黑馬。
雙攝像頭也是剛剛出來, 所以算法方面,各家都有各自的優點和缺點。不過從目前已經推出的雙攝像頭手機效果來看,各家的算法還有待提高。等各種算法能力上去后,勢必會讓雙攝像頭成為手機的標配。
2、雙攝像頭sensor供應商
由于雙攝像頭在拍照的時候,需要兩個攝像頭同步時間戳,這就需要Camera Sensor有同步信號。目前有此同步信號的sensor供應商有Sony、Samsung、OV、格科微。所以雙攝像頭的Sensor主要用這幾家的產品。
3、雙攝像頭模組供應商
目前能做雙攝像頭的模組廠很多,有光寶、舜宇、信利、Namuga、O-Film、三星機電、丘鈦。不過有量產經驗的主要是光寶、舜宇和信利。華為的機型主要是用光寶和舜宇的模組。而O-Film和三星機電憑借其強大的工廠能力,現在也大舉進軍雙攝像頭模組領域。Namuga則是跟各算法公司保持良好的溝通關系,并為三星手機的供應商,也逐漸在雙攝像頭模組領域發力。
不過不同功能對模組要求不一樣。我們繼續拿上文說的四個功能為例:
算法方面,主要是通過右面的黑白攝像頭讀取進光量的多少,從而補償左邊RGB攝像頭的色彩。
3D拍攝和建模,這種方式跟距離相關的模組有點類似。只是3D對距離的精準度要求更高。這種情況下,更需要將兩個攝像頭的距離擺得遠一點,甚至有些會采用外加紅外輔助定位來實現距離測量,最終實現3D拍攝和建模的作用。
雙攝像頭模組制作的難點:
雙攝像頭的做法,一般有兩種:共基板,或者共支架。如下圖:
若共基板,則是將兩個CameraSensor共同放在同一個基板上,然后一個FPC從此基板上引出來即可。若共支架,如上圖,通過支架將Sensor固定住,每個Sensor有自己的基板和自己的FPC。
總之兩種方法各有優缺點,目前只有華為采用的是共基板的方式。但無論哪種方式,目前良率都是較差的,所以成本還是很高的。
若算法提高,模組良率提高,雙攝像頭還是有很多優勢值得大家去做的。
不過由于不同功能對模組擺放要求不同,雙攝像頭目前來看,有可能完全無法滿足大家對攝像頭的要求。
由于谷歌推出Project Tango的時候,很聰明地提出了一個三攝像頭的概念:當需要測距和3D建模的時候,可以用兩個距離遠的攝像頭;若做光學變焦和暗光補償,可以用兩個距離近的鏡頭。甚至此Depth Sense可以結合紅外,更準確的測量距離。
無論如何,隨著雙攝像頭算法的演進,VR需求的增加,攝像頭發揮的作用越來越大。雙攝像頭,甚至前雙攝像頭+后三攝像頭的手機,明后年很有可能變得越來越常見。
評論