前言

雙目立體視覺，由兩個攝像頭組成，像人的眼睛能看到三維的物體，獲取物體長度、寬度信息，和深度的信息；單目視覺獲取二維的物體信息，即長度、寬度。

1）雙目攝像頭

常見的雙目攝像頭有以下幾款：

能看到不同類型的雙目攝像頭，左攝像頭和右攝像頭之間的距離不一樣。

2）雙目相機基線

基線越大，測量范圍越遠；基線越小，測量范圍越近。

建議：

（1）基線距B是工作距離的08-2.2倍時測量誤差比較小；

（2）雙目立體視覺的結構對稱時，測量系統的誤差比較小，精度也比較高。

（3）兩臺相機的有效焦距∫越大，視場越小，視覺測量系統的測量精度越高（即采用長焦距鏡頭容易獲得較高的測量精度）

出自博士論文 基于雙目視覺的空間非合作目標姿態測量技術研究。顏坤

3）打開雙目攝像頭

在OpenCV用使用雙目攝像頭，包括：打開單目攝像頭、設置攝像頭參數、拍照、錄制視頻。

環境

編程語言：Python3 主要依賴庫：OpenCV3.x 或 OpenCV4.x

雙目同步攝像頭，兩個鏡頭共用一個設備ID，左右攝像機同一頻率。這款攝像頭分辨率支持2560*960或以上。

思路流程

1、由于兩個鏡頭共用一個設備ID，打開攝像頭時使用cv2.VideoCapture（）函數，只需打開一次。區別有的雙目攝像頭是左右鏡頭各用一個設備ID，需要打開兩次cv2.VideoCapture（0），cv2.VideoCapture（1）。

2、雙目攝像頭的總分辨率是由左右鏡頭組成的，比如：左右攝像機總分辨率1280x480；分割為左相機640x480、右相機640x480

為了方便理解畫了張草圖；圖中的“原點”是圖像像素坐標系的原點。

3、分割后，左相機的分辨率：高度 0:480、寬度 0:640

右相機的分辨率：高度 0:480、寬度 640:1280

4、轉換為代碼后

# 讀取攝像頭數據

ret， frame = camera.read（）

#裁剪坐標為［y0:y1， x0:x1］ HEIGHT * WIDTH

left_frame = frame［0:480， 0:640］

right_frame = frame［0:480， 640:1280］

cv2.imshow（“left”， left_frame）

cv2.imshow（“right”， right_frame）

源代碼

舉個栗子：打開分辨率1280x480的雙目攝像頭

# -*- coding： utf-8 -*-

import cv2

import time

AUTO = False # 自動拍照，或手動按s鍵拍照

INTERVAL = 2 # 自動拍照間隔

cv2.namedWindow（“left”）

cv2.namedWindow（“right”）

camera = cv2.VideoCapture（0）

# 設置分辨率 左右攝像機同一頻率，同一設備ID；左右攝像機總分辨率1280x480；分割為兩個640x480、640x480

camera.set（cv2.CAP_PROP_FRAME_WIDTH，1280）

camera.set（cv2.CAP_PROP_FRAME_HEIGHT，480）

counter = 0

utc = time.time（）

folder = “。/SaveImage/” # 拍照文件目錄

def shot（pos， frame）：

global counter

path = folder + pos + “_” + str（counter） + “.jpg”

cv2.imwrite（path， frame）

print（“snapshot saved into： ” + path）

while True：

ret， frame = camera.read（）

# 裁剪坐標為［y0:y1， x0:x1］ HEIGHT*WIDTH

left_frame = frame［0:480， 0:640］

right_frame = frame［0:480， 640:1280］

cv2.imshow（“left”， left_frame）

cv2.imshow（“right”， right_frame）

now = time.time（）

if AUTO and now - utc 》= INTERVAL：

shot（“left”， left_frame）

shot（“right”， right_frame）

counter += 1

utc = now

key = cv2.waitKey（1）

if key == ord（“q”）：

break

elif key == ord（“s”）：

shot（“left”， left_frame）

shot（“right”， right_frame）

counter += 1

camera.release（）

cv2.destroyWindow（“left”）

cv2.destroyWindow（“right”）

補充理解

OpenCV有VideoCapture（）函數，能用來定義“攝像頭”對象，0表示第一個攝像頭（一般是電腦內置的攝像頭）；如果有兩個攝像頭，第二個攝像頭則對應VideoCapture（1）。

在while循環中使用“攝像頭對象”的read（）函數一幀一幀地讀取攝像頭畫面數據。

imshow函數是顯示攝像頭的某幀畫面；cv2.waitKey（1）是等待1ms，如果期間檢測到了鍵盤輸入q，則退出while循環。

效果

4）雙目測距

原理

視差disparity

極線約束

極線校正/立體校正

雙目測距流程：

a.雙目標定

b.雙目矯正

c.立體匹配

d.雙目測距（三角測量）

e.測距效果

原理

通過對兩幅圖像視差的計算，直接對圖像所拍攝到的范圍進行距離測量，無需判斷前方出現的是什么類型的障礙物。

視差disparity

首先看一組視覺圖：左相機圖和右相機圖不是完全一致的，通過計算兩者的差值，形成視差，生成視差圖（也叫：深度圖）

視差是同一個空間點在兩個相機成像中對應的x坐標的差值；

它可以通過編碼成灰度圖來反映出距離的遠近，離鏡頭越近的灰度越亮；

我們觀察一下，看到臺燈在前面，離雙目相機比較近，在灰度圖呈現比較亮；攝影機及支架在后方，離雙目相機比較遠，在灰度圖呈現比較暗。

補充理解：

由立體視覺系統測量的深度被離散成平行平面 （每個視差值一個對應一個平面）

給定具有基線 b 和焦距 f 的立體裝備， 系統的距離場受視差范圍［dmin ，dmax］的約束。

極線約束

極線約束（Epipolar Constraint）是指當空間點在兩幅圖像上分別成像時，已知左圖投影點p1，那么對應右圖投影點p2一定在相對于p1的極線上，這樣可以極大的縮小匹配范圍。

標準形式的雙目攝像頭，左右相機對齊，焦距相同。

如果不是標準形式的雙目攝像頭呢？哦，它是是這樣的：（需要 極線校正/立體校正）

極線校正/立體校正

雙目測距流程：

相機標定（獲取內參+外參）

雙目矯正（矯正鏡頭變形圖像）

雙目立體匹配（生成視差圖 Disparity map）

計算深度信息（生成深度圖 Depth map）

計算距離

a.雙目標定

主要是獲取內參（左攝像頭內參+右攝像頭內參）、外參（左右攝像頭之間平移向量+旋轉矩陣）

標定過程：

詳細過程請參考：雙目視覺 標定+矯正 （基于MATLAB）

b.雙目矯正

消除鏡頭變形，將立體相機對轉換為標準形式

c.立體匹配

尋找左右相機對應的點（同源點）

d.雙目測距（三角測量）

給定視差圖、基線和焦距，通過三角計算在3D中對應的位置

雙目測距原理

C++版代碼請參考：雙目 機器視覺-- 測距

Python版代碼：看看大家情況，如果需要的，我抽時間完成分享給大家（BM、SGBM算法等）

e.測距效果

彩蛋：雙目立體匹配（重點）

立體匹配是雙目立體視覺中比較重要的一環，往往這里做研究和優化。

a.立體匹配流程

b.匹配代價計算

代價函數用于計算左、右圖中兩個像素之間的匹配代價（cost）。 cost越大，表示這兩個像素為對應點的可能性越低。

常用代價函數

AD/BT

AD+Gradient

Census transform

SAD/SSD

NCC

AD+Census

CNN

c.立體匹配

端到端視差計算網絡

? Disp-Net （2016）

? GC-Net （2017）

? iRestNet （2018）

? PSM-Net （2018）

? Stereo-Net （2018）

? GA-Net （2019）

? EdgeStereo （2020）

\

立體視覺方法評測網站

ETH3D https://www.eth3d.net/

Kitti Stereo http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php？benchmark=stereo

Middlebury Stereo 3.0 https://vision.middlebury.edu/stereo/eval3/

如果大家對端到端視差計算網絡感興趣，需要開源代碼跑通教程和介紹，也考慮分享大家，主要看大家意愿了。

雙目測距總結

優勢

（1）成本比單目系統要高，但尚處于可接受范圍內，并且與激光雷達等方案相比成本較低；

（2）沒有識別率的限制，因為從原理上無需先進行識別再進行測算，而是對所有障礙物直接進行測量；

（3）直接利用視差計算距離，精度比單目高；

（4）無需維護樣本數據庫，因為對于雙目沒有樣本的概念。

難點

（1）計算量大，對計算單元的性能要求高，這使得雙目系統的產品化、小型化的難度較；（芯片或FPGA）

（2）雙目的配準效果，直接影響到測距的準確性；

（3）對環境光照非常敏感；（光照角度、光照強度）

（4）不適用于單調缺乏紋理的場景；（天空、白墻、沙漠）

（5）相機基線限制了測量范圍。（基線越大，測量范圍越遠；基線越小，測量范圍越近）

編輯：jq