前言

透過模擬人眼立體視覺，兩個攝像機拍攝同一場景可構成雙目成像模型，或者在單相機航空攝影以及時序序列攝影中，同一個相機在兩個不同的位置對同一場景拍攝兩張不同的影像，也可構成雙目成像模型。雙目立體視覺的目標是利用三角測量原理從雙目成像模型中恢復所拍攝景物的深度資訊或者在空間中的三維座標資訊，即從二維成像影像中恢復三維資訊。

在上世紀80年代Marr和Paggio首次提出雙目立體視覺的計算理論。其基本原理圖如圖1所示：

圖1 雙目立體視覺基本原理圖

在圖1中，

P

為空間場景中的一個物理點，

和

分別為點

P

在左右兩個視角影像L和R中的投影像點，

和

分別為左右兩個視角的相機中心。雙目立體視覺的目的是透過兩個相機的位置姿態，以及同一個物理點P在影像上的兩個投影像點

和

，獲取

P

的三維空間位置，關鍵技術點在於儘可能尋找兩幅影像中同名點對

，從而計算

P

的位置。

雙目立體視覺技術透過相機標定技術獲得兩個視角的相機外引數（位置與姿態）及影像的內參數，並構建立體視覺座標系統，包括影像座標系、相機座標系以及世界座標系，並提供座標系之間的相互轉換關係，具體描述如下：

影像座標系

影像座標系是以二維影像為基本建立的座標系，描述畫素點在影像上的位置，分為以畫素為單位的

座標系以及以物理尺寸為單位的

座標系。在攝影測量中，

座標系以左下角位置為原點，

軸和

軸分別平行於影象平面的兩條垂直邊（

軸朝右，

軸朝上）；

座標系以相機中心在像平面上的垂足為原點，

軸和

軸分別與u軸和v軸平行且方向一致。在計算機視覺中，

座標系以左上角位置為原點，

軸和

軸分別平行於影象平面的兩條垂直邊（

軸朝右，

軸朝下）；

座標系以相機主光軸與像平面的交點為原點，

軸和

軸分別與

軸和

軸平行且方向一致。圖2為攝影測量與計算機視覺領域各自的影像座標系示意圖。

圖2 攝影測量學與計算機視覺中的影像座標系

相機座標系

相機座標系是雙目視覺中十分關鍵的座標系，它從相機的視角來描述影像在三維空間中的座標。相機座標系以相機中心為原點，

軸與

軸分別與影像座標系的

軸與

軸平行，且方向一致，根據右手座標系規則得到

方向，因為影像座標系中

軸方向的不同，導致攝影測量與計算機視覺的

軸方向正好相反，如圖3所示：

圖3 攝影測量與計算機視覺中的相機座標系

世界座標系

世界座標系是客觀三維世界中的絕對座標系，它描述了雙目立體視覺系統中的所有實體（包括相機、影像、真實物體等所有實體）在客觀世界中的位置，在航空攝影測量中，世界座標系通常是大地座標系，而在近景攝影測量中，世界座標系根據應用場景的不同而有所區別，在多視實景三維建模中，因為要得到目標的真實大地座標，世界座標系會選擇大地座標系；而在手持式三維掃描應用中，由於只需要得到被掃描目標的真實尺寸資訊，而不關心物體的座標是否位於大地座標系下，因此世界座標系可以選擇目標附近的一個區域性位置，通常將原點放在第一個有效掃描幀掃描器雙目立體系統的左相機中心。

建立座標系的根本目的是為了建立三維空間點與二維畫素點之間的聯絡，當三種座標系確定之後，它們之間的轉換關係也被確定，其中最重要的兩種轉換關係是影像座標系與相機座標系之間的相互轉換以及相機座標系與世界座標系之間的相互轉換。

影像座標系與相機座標系之間的相互轉換

在實際應用中，獲取影像後最直觀接觸到的是影像的

座標系，而相機座標系的

和

軸與

座標系平行，所以通常會先透過公式1將

座標系轉換至

座標系，再由公式2將

座標系轉換至相機座標系。在本文中，假設影像是無畸變影像。

式1 （u，v）座標系轉換至（x，y）座標系

式2 （x，y）座標系轉換至相機座標系

式1中，

和

為像主點（即相機中心在像平面的垂足點）在

座標系中的座標，

和

分別為影像畫素在

和

方向上的物理尺寸，式2所表示的是像平面上畫素點在相機座標系中的座標，而畫素點所代表的物方點在相機座標系中的座標則可以透過式3來獲得，這是根據中心投影模型的相機中心點、像點、物方點三點共線理論來推匯出的，圖4中描述了這種關係。

式3 畫素點所代表的物方點在相機座標系中的座標

圖4 空間點P在相機座標系中的位置關係

式3中，

為尺度因子，很顯然，當只有一個相機時，若不對

P

的位置新增某種固定的約束（比如限定

P

在某個固定平面移動），而是允許

P

在三維空間中自由移動的話，是不可能透過一個相機以及單幅影象來計算出λ的值進而計算出

P

點在相機座標系中的座標的，這就是雙目立體視覺所研究的問題，即如何確定點

P

在相機座標系中的確定座標（或者說確定尺度因子

的值）。在計算機視覺中，用深度

來表示點P在相機座標系的Z方向上距離相機中心

的距離，如果將深度概念應用到攝影測量學中，則點

P

在相機座標系中的座標可表示為

，式3可以變化為：

式4 式3的變化形式

從式4可以得出，如果知道點

P

的深度，則可以很方便的計算出

P

在相機空間座標系中的座標，而如何恢復影像中每個畫素點的深度值，即是雙目立體視覺所研究的內容，在雙目立體視覺中，畫素點的深度值可以和另外一個名為視差值的概念相互轉換。

相機座標系與世界座標系之間的相互轉換

知道點P在相機座標系中的座標後，即可以透過相機座標系與世界座標系之間的轉換關係來獲得點P在世界座標系中的座標。因為世界座標系與相機座標系一樣是右手座標系（本文不討論座標系中存在左手座標系的特殊情況），所以兩個座標系之間的變換是一個剛體變換，透過旋轉與平移變換即可完成兩者之間的相互轉換。本文采用矩陣運算的方式來描述兩者的轉換關係，如式5所示。

式5 攝影測量學中相機座標系到世界座標系的轉換

式5中

為世界座標系座標，

為相機座標系座標，由式4計算，

為旋轉矩陣，描述相機座標系到世界座標系所做的旋轉操作，

為平移矩陣，是相機中心在世界座標系中的座標，描述相機座標系到世界座標系所做的平移操作。

和

均屬於相機外引數，由相機標定或多視影像運動恢復結構（Structure from Motion， SfM）演算法獲得。式5是攝影測量學中的轉換公式，而在計算機視覺中R矩陣與T矩陣描述的轉換關係與攝影測量正好相反，即世界座標系到相機座標系的轉換關係，當然，兩者只是轉換物件的位置做了顛倒，所依據的基本幾何原理是一致的。計算機視覺中的轉換關係如式6所示。

式6 計算機視覺中世界座標系到相機座標系的轉換

以上三類座標系和它們之間的轉換關係，構成了雙目立體視覺的幾何框架基礎，透過該幾何框架，可以完成畫素點到世界座標系之間的相互轉換，即完成二維資訊與三維資訊之間的相互對映。