基于遠距離高精度的立體視覺障礙物檢測系統(tǒng) 外文翻譯

1、<p>　　基于遠距離高精度的立體視覺障礙物檢測系統(tǒng)</p><p>　　教授：Sergiu Nedevschi, Radu Danescu, Dan Frentiu, Tiberiu Marita,Florin Oniga, Ciprian Pocol 克盧日-納波卡科技大學計算機科學系；</p><p>　　sergiu.nedevschi@cs.utcluj.ro</

2、p><p>　　博士：Rolf Schmidt，Thorsten Graf 大眾汽車集團電子研究小組</p><p>　　rolf4.schmidt@volkswagen.de</p><p>　　thorsten.graf@volkswagen.de</p><p>　　本文介紹了一種高精度立體視覺系統(tǒng)的障礙檢測方法以及從公路到城市，車輛在各種

3、交通場景中對于環(huán)境的感知能力。系統(tǒng)可以檢測所有類型的障礙，甚至是高距離一個長方體在三維坐標中的位置、大小和速度會作為一個列表被輸出來用于檢測。</p><p><b>　　動力部分</b></p><p>　　由于人的欲望驅使，交通的密度和流量不斷增長，車輛行駛也越來越復雜，那么現(xiàn)代信息社會就需要探索新的解決方法。在過去的30年中歐洲的車輛行駛也雙倍增加，從每天的17

4、公里到每天35公里，車隊也增加甚至達到四倍之多[14]。共同的目標是使所有道路使用者的行車安全系數(shù)增加，即使受傷人數(shù)每年減少50%（德國，1980到2000）[15]。這種被動的安全措施在過去的扮演一個主要角色。在未來有源系統(tǒng)所謂的先進駕駛輔助系統(tǒng)（ADAS）將變得越來越重要，并且對于車輛來說它也會作為一個主要電子創(chuàng)新部分而被應用[16]。</p><p>　　2、先進駕駛輔助系統(tǒng)</p><

5、p>　　ADAS將不僅提高駕駛的舒適性和安全性，交通流通也隨之提高?，F(xiàn)在已經(jīng)有主動系統(tǒng)可用于許多汽車，如ABS（防鎖制動系統(tǒng)），ESP（電子穩(wěn)定程序）或BA（制動輔助）。而且ACC（自主巡航控制）可提高駕駛舒適性并且在不久的將來會被應用于大量的汽車之上。</p><p>　　通過調查研究主要國家和國際的研究活動，指出了目前的研發(fā)三種趨勢：</p><p>　　在單一的場景中用舒適性來

6、簡化驅動任務，即ACC。</p><p>　　報警功能在關鍵時刻警告駕駛者，即航道偏離報警。</p><p>　　安全功能以減少避免碰撞，即緊急制動。</p><p>　　車輛和駕駛環(huán)境之間的關系越來越受到關注。首先它包括通過一些傳感系統(tǒng)來驅動環(huán)境檢測和說明，必要的環(huán)境抽象層是由ADAS應用自身決定的：一個簡單的縱向控制任務只需要測量目標的推進速度。然而在更復雜的駕

7、駛環(huán)境下，警告和安全功能需要明確潛在障礙物的尺寸。在像擁擠的高速公路或者城區(qū)內這樣的復雜環(huán)境中，需要更來自立體視覺傳感器更豐富的傳感信息。</p><p>　　通過圖像處理的障礙物檢測主要根據(jù)兩個主要趨勢：基于單相機檢測和兩個（或者更多）相機檢測，單眼方法運用對象模型擬合技術，顏色分割或者紋理和對稱軸特征檢測。三維特征測量是在檢測階段完成后才進行的，它經(jīng)常是通過對象（如尺寸）的知識結合來表現(xiàn)，道路特征的假設和校準

8、相機的參數(shù)的知識?；诹Ⅲw視覺的方法有直接估計圖像三維坐標的優(yōu)點，這個圖像是由一個點到一個復雜結構的東西，三維視覺包括從左到右尋找信息。信息的尋找很困難，費時這是不可避免的，障礙物檢測涉及立體視覺，為了對一些經(jīng)典問題進行簡化并且得到實時的效果可以采用不同的方法。例如，利用立體視覺只是測量對象的距離，這個對象已經(jīng)完成單目圖像檢測，檢測障礙點是立體視差與道路視差的比較。檢測障礙的特征有兩個相關過程，一個是在垂直表面特征的假設之下，另一個是在

9、水平表面的假設下，并且比較每種情況下的匹配質量。立體視覺系統(tǒng)根本不用搜索信息，二十用扭曲圖像來代替，然后執(zhí)行減法操作。</p><p>　　我們的方法執(zhí)行的是一個3D可是場景重建，唯一的限制是重建點必須位于垂直或者傾斜的的邊緣，得到的三維點列表分為僅基于密度和附近標準的對象，在這種方式中，該系統(tǒng)可以檢測到所有類型的障礙，輸出一個有3D位置和大小長方體列表，沒必要做出任何類型的假設。如果需要分類技術可用于區(qū)分，檢測

10、目標的檢測可以用多目標跟蹤算法檢測速度。</p><p><b>　　3、環(huán)境模型</b></p><p>　　所有的3D 實體（點，對象）的世界坐標系統(tǒng)如圖一所示，這個地球坐標系統(tǒng)實際上是一個汽車坐標系統(tǒng)，在汽車的前面的地面上是它的原點，我們的行駛方向是它的Z軸，最后的屬性是確保準確校準相機時間</p><p><b>　　圖一 地

11、球坐標系統(tǒng)</b></p><p>　　圖二所示是地球坐標系統(tǒng)相機的左右位置，這一位置完全是由換算矢量TR和TL決定的，旋轉矢量RL和RR在相機和地球坐標系統(tǒng)之間，這些參數(shù)是必不可少的立體聲重建過程。</p><p><b>　　圖二 相機坐標系統(tǒng)</b></p><p>　　為了估計平移向量和旋轉矩陣，相機在固定并安裝在汽車上后再

12、用通用的校準技術校準。對象是長方體，有位置大小和速度，位置（X,Y,Z）和速度(VX,VZ)在中央下部的位置標示。</p><p>　　4、3D立體視覺信息提取</p><p>　　立體重建算法主要是基于可供選擇的現(xiàn)有文獻的古典立體視覺原理，找到左右信息的對應點，用立體聲校正系統(tǒng)映射到三維世界。</p><p>　　關心重建點實時響應和高可信度，為了減少搜索空間和強

13、調對象的結構，只將左邊圖像的邊緣點和右圖的點關聯(lián)起來。由于相機的水平視差，采用基于梯度的垂直邊緣檢測，非極大值抑制和滯后邊緣連接，聚焦圖像邊緣不僅僅是提高響應時間是的相關任務也變得容易，因為這些點在非均勻圖像的區(qū)域。</p><p>　　基于面積的相關性，對于每一個左邊緣點，右邊圖像被搜索，絕對和差異（SAD）函數(shù)用來衡量相似性，用在（5x5或7x7像素）的區(qū)域，并行處理器的功能是實現(xiàn)這個功能，沿外極線從立體幾何

14、計算開始搜索。運用了兩種模式：圖像整改，沿水平線搜索或不整改和沿由幾何系統(tǒng)決定外極線搜索。</p><p>　　為得到低雙率，相關函數(shù)的強烈反應通常是通信者。如果全球最小功能的函數(shù)相對其他地方的函數(shù)還不夠強大。如圖三，第一列是正確的相關性表現(xiàn)，后兩列是拒絕通信者的模糊相似函數(shù)表現(xiàn)，去掉重復的圖案只有完整的一對被重建。</p><p>　　為了達到更好地3D深度解析，將拋物線加到相關函數(shù)中計

15、算子像素的信息。</p><p>　　圖三：每一列三個相關方案。第一行左邊的圖用“x”標明， 第二行右圖的搜索區(qū)域和外極線，第三行相關函數(shù)（低意外著更匹配）。</p><p>　　拋物線嵌在全局最小值的局部鄰域，得到的準確性是1/4 至1/6像素。這種精度依賴于圖像質量（特別是噪聲水平和對比度），我們的實驗表明3鄰域拋物線工作的比一個好。</p><p>　　圖四：

16、線性分段近似于5點相關函數(shù)圖中所示兩條拋物線嵌到3和5鄰域。子像素的位移“d”表示3鄰域拋物線。 </p><p>　　在此步驟下可以找到對應信息，每一對左右對應點映射到唯一的三維點中，利用相機幾何形狀追蹤每一對點的3D投影射線。計算投影射線的交點，3D點的坐標就被確定。當使用圖像糾正時，公式就變得簡單，如果是原始圖像用來相關，公式

17、就變得復雜。</p><p>　　雖然圖像糾正為通信者和簡單的三維重建提供了一個簡單的搜索區(qū)域，而一般的圖像沒有糾正，因為沒有圖像的重采樣需要更好地分辨率。</p><p>　　5以分組的三維點為對象</p><p>　　在交通對象水平中我們只使用3D點。對象只是包含路面上的物體，路面水平上的點和過高的點都被忽視，過于側面和太遠的點也會忽視。剩下的點就是興趣區(qū)（SO

18、I），SOI時平行六面體，它們和道路平行或在道路之上，假定道路為平面。</p><p>　　在測試駕駛之前校準相機的外部參數(shù)，相機固定在汽車上，這樣相機跟著汽車移動。汽車和路面的夾角根據(jù)靜態(tài)和動態(tài)因子而改變。汽車的裝載是一個靜態(tài)因子，加速減速和轉向是動態(tài)因子，這也導致汽車相對路面改變其仰俯角和側滾角，為了獲得這兩個角度，我們要測量底盤和輪子的距離，因為輪子和路面接觸。四個傳感器固定在地盤和輪軸之間。測量俯仰和側滾

19、角，SOIQU區(qū)域可以設置在路面正上方，SOI的高度包含最高的車輛。對象只能在SOI區(qū)域，不能在其他區(qū)域。在興趣區(qū)的三維點的衛(wèi)星圖上，假定忽視低密度區(qū)域噪聲點，那么，我們可以用高點密度區(qū)分區(qū)域，指定和定位對象。對衛(wèi)圖的3D點進行分析以識別圖像，如圖五所示，是一個視圖顯示。</p><p>　　圖五 左圖像和3D點的衛(wèi)圖</p><p>　　一個重要的發(fā)現(xiàn)是，3D點隨著距離的增大而減少，為

20、了克服這個缺點，我們壓縮衛(wèi)圖的空間，在新的空間中局部密度點保持穩(wěn)定。在壓縮空間中忽視對像的距離，則該區(qū)域的對象有相同的點密度。</p><p>　　基于距離的壓縮系數(shù)（Z）: Scale(Z)=f··k</p><p><b>　　[注]：Z—距離</b></p><p><b>　　F—相機焦距</b>

21、;</p><p>　　K—根據(jù)豐富的三維重建點的電流重建方法，是可以手動選擇的因素，X軸和Z軸的值的K可以是不同的。</p><p>　　K因子的選擇需滿足發(fā)現(xiàn)的對象中的兩個條件：</p><p>　　—不要把一個真正的對象分成許多小的物體；</p><p>　　—不將許多實物統(tǒng)一成一個更大的物體。</p><p>

22、　　該方程用于找到的位置（行，列）在壓縮的空間，一個點（x，z）在未壓縮的空間，是：row=log1+k/f；Zmin=SOI低距離限制</p><p>　　col=X·Scale(Z)</p><p>　　圖6中所描繪場景的壓縮空間在圖8中有所顯示。</p><p>　　圖6 壓縮空間和識別的對象</p><p>　　同時，在圖6

23、中對象被確定為密集區(qū)域。為使物體沿Y軸的極限位置被發(fā)現(xiàn)將目標對象用框圖標注如圖7所示。</p><p><b>　　6、對象跟蹤</b></p><p>　　目標跟蹤是為了獲取更穩(wěn)定的結果，并沿X軸和Z軸坐標分別跟蹤估計物體的速度，采用簡單的平均電流的簡化方法在最后檢測坐標。</p><p>　　目標跟蹤的數(shù)學支持的是線性卡爾曼濾波。該對象的位

24、置被認為是一個以恒定速度統(tǒng)一的運動的位置。瞬時k是狀態(tài)向量X（k）的組成部分，我們試圖通過跟蹤該過程物體在沿X軸和Z軸的速度參數(shù)和位置進行評估。</p><p>　　圖7：目標圖象的長方體畫透視圖圖像</p><p>　　對象的實際檢測將形成測量向量，其中只包含了檢測到的對象的坐標。</p><p>　　= 其中， X向量是由線性方程表示：=A(k)×X(

25、k-1) （1）</p><p><b>　　在狀態(tài)轉移矩陣是</b></p><p>　　一個單目標跟蹤的步驟：</p><p>　　?預測：通過方程（1）用最后的狀態(tài)向量和過渡矩陣對目標對象的新位置的進行計算。預測Y坐標即是最后的Y坐標。</p><p>　　?測量方法：圍繞預測位置（PX，PY，PZ）我

26、們所需目標對象分組結果有以下的預測距離閾值。方程（2）給出了沿不同的三個坐標軸的權重位移，計算其距離并同時考慮當前對象的速度被視為一個不確定性因素。</p><p><b>　?。?）</b></p><p>　　滿足使用條件的物體被用作形成一個信封，它的位置是被計算出來的，并用作測量，同時，信封的尺寸作為跟蹤對象的當前尺寸,通過創(chuàng)建一個軌道附近物體外的信封對象我們可

27、以分開加入到以前所測量的物體中，只要這些分開的物體具有相同的軌跡，這一合并會變得很高效。這是由對象軌跡關聯(lián)確保的，當然跟蹤爭奪的對象和虛假對象的加盟將不會持續(xù)太久.</p><p>　　?更新：通過卡爾曼濾波器方程，測量和預測被用于更新狀態(tài)向量X方程，Y坐標和對象的大小由平均電流測量和過去測量值跟蹤，如果在當前幀中沒有與跟蹤相關聯(lián)的測量量，這個預測會被用于跟蹤系統(tǒng)的輸出，跟蹤被看作經(jīng)過數(shù)軌道沒有測量丟失的量。&l

28、t;/p><p>　　我們必須要確定跟蹤的多個對象加一點更復雜的到上面所提出的方法中。確定哪個測量對象由哪個軌道跟蹤，或者一個被檢測的物體開始由一個新的軌道跟蹤。</p><p>　　檢測到的對象和軌道之間的關聯(lián)是由方程（2）得到的距離通過使用一種改進的最近鄰法得到。每個對象都是針對每個軌道相比。對象標記的應用于最近軌道的數(shù)據(jù)識別，只要有至少一個軌道具有足夠抵到對象的距離。通過經(jīng)典的最近鄰法的

29、改造，我們引入了一個“時代的折扣”的距離比較，并以這種方式我們優(yōu)先考慮更早，更成熟的軌跡。這個更方便的機制是由它們先后的逆序排序實現(xiàn)軌跡（更早的排列在首位）。如果我們將一個對象跟蹤和另一個被標簽標記的跟蹤物體進行對比，我們改變的只有遠程對象的電流跟蹤集成遠低于舊軌道減去一個固定量的距離，這樣的估算大打折扣。</p><p>　　對于每一個對象不能被指定到一個現(xiàn)有的軌道實現(xiàn)一些特定的條件，那么一個新的跟蹤軌跡就會初

30、始化。一個新的軌道開始時是一個有著合理大小的單一對象。一個軌道的初始階段并沒有任何對象的加入。這樣就避免初始化跟蹤對噪聲象，從而放大噪聲。如果幀的預定數(shù)量的關聯(lián)過程失敗的話軌道就會中止。</p><p>　　對于對象的跟蹤驗證過程是建立在目標對象的圖像獲取上以確保從一個對象到另一個沒有軌道轉換。如果是一個被跟蹤幾幀的目標對象，那么它的大小公認的是使用一個對象的圖像在左圖像上的投影（圖8，a），歸一化到20像素的大

31、小和存儲（圖8，b）。在后續(xù)的幀圖像相匹配的一個40x40象素在跟蹤對象周圍有一個正常的搜索區(qū)域。如果更多的幀匹配失敗，那么這個軌跡就是失敗的。</p><p>　?。╝) (b)</p><p>　　圖8： (a)一個跟蹤對象 (b)歸一化圖像</p><p>　　圖9：用于驗證的搜索區(qū)域</p>

32、;<p><b>　　7、結果</b></p><p>　　該檢測系統(tǒng)已被部署在一個標準的1GHz奔騰III®個人計算機，并且整個處理周期小于100毫秒的處理時間，因此可以做到10幀的檢測率。這使得該系統(tǒng)適用于實時應用。該系統(tǒng)已在各種交通情況下測試，離線（使用存儲的序列）和在線（星上處理），并在兩種情況下起作用了。覆蓋盡可能多的交通條件測試：城市，如圖10，公路，如圖

33、11所示，或國家的道路（圖12）。在所有情況下的障礙，可靠地檢測和跟蹤以及它們的位置，尺寸和速度測量。檢測證明最大工作范圍約為90米，可靠性范圍在10米—60米。位置測量誤差，自然，高于一個可以從雷達系統(tǒng)獲得的，但它是非常低的一個視覺系統(tǒng)：在10 m內小于10厘米的誤差，在45米和95米之間2米左右的誤差，誤差約30CM。</p><p>　　圖10：在城市交通檢測結果</p><p>　

34、　圖11：公路交通檢測結果</p><p>　　圖12：鄉(xiāng)村公路上的傳入流量跟蹤</p><p>　　在圖14中展示的是追蹤性能最好的邊緣檢測，在那里的傳入流通量并且其相對速度超過200公里/小時。然而，傳入的對象能夠正確地追蹤和速度估計。在這種情況下，我們的車輛以100公里/小時的速度行駛同時流通車輛以120公里/小時的速度行駛。最大速度估計誤差一般發(fā)生在分隔不是很明顯的道路以外的部分，

35、例如障礙，樹木，灌木等。因此從一幀到另一個測其運動是非常困難的。</p><p><b>　　8、結論</b></p><p>　　我們提出了一種基于立體視覺的障礙物檢測系統(tǒng)，應用于對象物體的邊緣點相對應的三維坐標的重建，但在交通情況變化較大的時候這種方法就會受到實時約束。該系統(tǒng)適用于車輛對于環(huán)境的感知能力并且在駕駛輔助設備應用里被進一步完整化。并且在未來，該系統(tǒng)的功

36、能還可以大大擴展。一個智能的相關函數(shù)應該進一步延展，一方面可以消除歧義而不是直接排斥忽略，同時可以重復圖樣和重構水平邊緣點。由于立體視覺模塊重構需要所有視線的特征，這也意味著它重建的也是道路特征，并也因此形成了三維車道檢測算法的基礎。此外，因為檢測算法可應用于任何類型的目標對象的檢測，所以可成為任何類型特定目標檢測系統(tǒng)的基礎，如車輛檢測，行人檢測，甚至交通標志的檢測。在我們的檢測目標對象時可直接運用分類程序，有利于減少搜索空間并可以檢測