Date：2021-9-18

作者：楊凌昊

注：文末附有【視覺SLAM、鐳射SLAM】交流群加入方式

注1：徹底搞懂基於LOAM框架的3D鐳射SLAM： 原始碼剖析到演算法最佳化

注2：徹底剖析室內、室外鐳射SLAM關鍵演算法原理、程式碼和實戰（cartographer+LOAM+LIO-SAM）

注3：鐳射-視覺-IMU-GPS融合SLAM演算法梳理和程式碼講解

注4：徹底搞懂視覺-慣性SLAM：基於VINS-Fusion

RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Qin T， Zheng Y， Chen T， et al。 RoadMap： A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving［J］。 arXiv preprint arXiv：2106。02527， 2021。 ICRA 2021

單位：華為

針對問題：

針對基於視覺的眾包高精度地圖構建以及動態更新的需求

提出方法：

文章提出了一套基於視覺的眾包建圖系統框架，多個建圖車輛本地端建圖，並傳輸到雲端融合，能夠對高精度地圖進行較為方便且有效的地圖更新。

達到效果：

文章在作者錄製的資料集中實現了城市大場景範圍內的快速建圖及動態更新，並基於此高精地圖實現精確魯棒的定位效果。

存在問題：

文章所構建的高精度地圖在實現定位過程中仍採用了ICP加濾波融合的方式，對於分割結果和測距效能的限制，建圖過程中的重影問題仍需進行後續調整，同樣場景中的三維標識未能加以建圖及利用。

Abstract

精確的定位對於自主駕駛任務來說是至關重要的。如今，我們已經看到很多感測器豐富的車輛（如機器人計程車）在街上自主行駛，它們依賴於高精度的感測器（如鐳射雷達和RTK GPS）和高精度地圖。然而，低成本的生產型汽車無法承擔如此高的感測器和地圖的費用。如何降低成本？感測器豐富的汽車如何使低成本的汽車受益？在本文中，我們提出了一個輕量級的定位解決方案，它依賴於低成本的相機和緊湊的視覺語義地圖。該地圖很容易由感測器豐富的車輛以眾包的方式產生和更新。具體來說，該地圖由幾個語義元素組成，如車道線、人行橫道、地面標誌和路面上的停車線。我們介紹了車載地圖、雲上維護和使用者端定位的整個框架。地圖資料是在車輛上收集和預處理的。然後，眾包的資料被上傳到雲伺服器。來自多個車輛的海量資料在雲端被合併，以便及時更新語義地圖。最後，語義地圖被壓縮並分發到生產汽車上，這些汽車使用該地圖進行定位。我們在現實世界的實驗中驗證了所提出的地圖的效能，並將其與其他演算法進行比較。語義地圖的平均大小為36kb/km。我們強調，這個框架是一個可靠和實用的自主駕駛的定位解決方案。

Main contributions:

我們提出了一個新穎的框架，用於自主駕駛任務中的輕量級定位，該框架包含車輛建圖、雲上地圖維護和使用者端定位。

我們提出了一個新穎的想法，即使用富含感測器的車輛（如機器人計程車），使低成本的生產汽車受益，含有感測器的車輛每天收集資料並自動更新地圖。

我們進行真實世界的實驗測試，以驗證所提出的系統的實用性。

System Overview

該系統由三部分組成。第一部分是本地端建圖。使用配備有前視攝像頭、RTK-GPS和基本導航感測器（IMU和輪速計）的車輛。這些車輛被廣泛用於機器人計程車的應用，每天收集大量的實時資料。透過分割網路從前檢視像中提取語義特徵。然後，語義特徵被投射到基於最佳化的車輛位姿的世界座標系中。在車輛上建立一個本地語義圖。這個本地地圖被上傳到一個雲地圖伺服器。

第二部分是雲上建圖。雲伺服器收集來自多個車輛的本地地圖，本地地圖被合併成一個全域性地圖。然後透過輪廓提取對全域性地圖進行壓縮。最後，壓縮後的語義地圖被髮布給終端使用者。

最後一部分是終端使用者定位。終端使用者是生產型汽車，它們配備了低成本的感測器，如攝像頭、低精度的GPS、IMU和輪速計。終端使用者從雲伺服器下載語義地圖後，對其進行解碼。與車載地圖部分相同，語義特徵是透過分割從前檢視像中提取的，透過語義特徵匹配，根據地圖對車輛進行定位。

On-Vehicle Mapping

Image Segmentation

在本文中，前檢視像被分割成多個類別，如地面、車道線。攔車線、路標、路邊、車輛、腳踏車和人。在這些類別中，地面、車道線、停車線和路標被用於語義建圖，其他類別可用於其他自動駕駛任務。

Inverse perspective Transformation

與作者在AVP-SLAM中的做法一樣，在分割之後，語義畫素從影象平面逆向投影到車輛座標下的地面平面。由於透視噪聲的存在，場景越遠，誤差越大。我們只選擇感興趣區域中的畫素。這個ROI表示車輛前方的12米×8米的矩形區域。假設地面是一個平面，每個畫素［u， v］在車輛的座標下被投射到地面上（z等於0），如下所示。

Pose Graph Optimization

位姿圖的說明圖如上圖所示。藍色節點是車輛在某一時刻的狀態s，它包含位置p和方向q。操作R（q）將四元數轉換成旋轉矩陣。有兩種邊緣。藍色邊表示GNSS約束，它只存在於GNSS良好的時刻，它隻影響一個節點。綠色邊表示里程計約束，它在任何時候都存在。它制約著兩個相鄰節點。位姿圖的最佳化可以被表述為以下公式：

其中，［·］xyz取四元數的前三個元素，大約等於流形上的誤差擾動。

Local Mapping

位姿圖最佳化提供了一個可靠的車輛在每個時刻的位姿。在第i幀中捕捉到的語義特徵在這個最佳化位姿的基礎上從車輛的座標轉換為全域性座標系。

從影象分割來看，每個點都包含一個類別標籤（地面、車道線、路標和人行道）。每個點在世界框架中呈現一個小區域。當車輛行駛時，一個區域可以被多次觀察。然而，由於分割噪聲的存在，這個區域可能被分為 分為不同的類別。為了克服這個問題，我們使用統計學來過濾噪聲。地圖被劃分為小網格，其解析度為0。1×0。1×0。1米。每個網格的資訊包含位置、語義標籤和每個語義標籤的計數。語義標籤包括地面、車道線、停車線、地面標誌和人行道。在開始時，每個標籤的分數為零。當一個語義點被插入到一個網格中時，相應標籤的分數就會增加1，因此，得分最高的語義標籤就代表了該網格的類別。透過這種方法，語義圖變得準確，並對分割噪聲具有魯棒性。

On-Cloud Mapping

Map Merging/Updating

一個雲圖伺服器被用來彙總由多個車輛捕獲的大量資料。它及時合併本地地圖，使得全域性語義地圖是最新的。為了節省頻寬，只有本地地圖的佔用網格被上傳到雲端。與車載地圖繪製過程相同，雲伺服器上的語義地圖也被劃分為解析度為0。1 × 0。1 × 0。1米的網格。本地地圖的網格根據其位置被新增到全域性地圖中，具體來說，本地地圖的網格中的分數被新增到全域性地圖的相應網格中，這個過程是並行操作的。最後，得分最高的標籤就是該網格的標籤。

Map Compression

在雲伺服器中生成的語義地圖將被用於大量生產汽車的定位。然而，生產汽車上的傳輸頻寬和車載儲存是有限的。為此，語義地圖在雲端被進一步壓縮。由於語義地圖可以透過輪廓有效地呈現，我們使用輪廓提取來壓縮地圖。首先，我們生成語義地圖的俯檢視像。每個畫素都呈現出一個網格。其次，提取每個語義組的輪廓。最後，等高線點被儲存並分發到生產車中。

User-End Localization

Map Decompression

當終端使用者收到壓縮的地圖時，語義地圖是由等高線點解壓而成。在俯檢視像平面中，我們用相同的語義標籤填充等高線內的點。然後，每個有標籤的畫素被從影象平面恢復到世界座標系中。

ICP Localization

這個語義圖被進一步用於定位。與建圖程式類似，語義點是由前檢視像分割生成的，並投影到車輛座標系中。然後，透過將當前特徵點與地圖相匹配來估計車輛的當前位姿。估算採用了ICP方法，可以寫成以下公式：

最後採用了一個EKF框架，它將里程計和視覺定位結果融合在一起。濾波器不僅提高了定位的魯棒性，而且還平滑了估計的軌跡。

Experimental Results

Map Production

實驗車輛配備了RTK-GPS、前視攝像頭、IMU和輪速里程計的車輛被用於建圖。多輛車同時在城市區域內執行，車上的地圖透過網路上傳到雲伺服器上。

Map Production

實驗地區的道路網總長度為22公里。原始語義地圖的整體大小為16。7 MB。壓縮後的語義地圖的大小為0。786 MB。壓縮後的語義地圖的平均大小為36KB/KM。下圖顯示了地圖更新進展的一個詳細例子。該地區的車道線被重新繪製。圖（a）顯示的是原始車道線。圖（b）顯示了重新繪製後的車道線。重新繪製的區域在紅圈中被突出顯示。圖（c）為原始語義圖。圖（d）顯示了正在更新的語義地圖。新的車道線逐漸取代了舊的車道線。隨著越來越多的最新資料的合併，語義圖被完全更新。

Localization Accuracy

對於自主駕駛任務，我們重點關注X、Y方向和偏航（航向）角度的定位精度。與鐳射雷達比較的詳細結果如下。可以看出，所提出的基於視覺的定位比基於鐳射雷達的解決方案更好。

Conclusion & Future work

在本文中，我們提出了一個新穎的語義定位系統，它充分利用了感測器豐富的車輛（如機器人計程車），使低成本的生產汽車受益。整個框架由車上建圖、雲上更新和使用者端定位程式組成。我們強調，這是一個可靠而實用的自主駕駛定位解決方案。

建議的系統利用了路面上的標記。事實上，三維空間中更多的交通元素可用於定位，如交通燈、交通標誌和電線杆。在未來，我們將把更多的三維語義特徵擴充套件到地圖中。

更多幹貨

歡迎加入【3D視覺工坊】交流群，方向涉及3D視覺、計算機視覺、深度學習、vSLAM、鐳射SLAM、立體視覺、自動駕駛、點雲處理、三維重建、多檢視幾何、結構光、多感測器融合、VR/AR、學術交流、求職交流等。工坊致力於乾貨輸出，為3D領域貢獻自己的力量！歡迎大家一起交流成長~

新增小助手微信：CV_LAB，備註學校/公司+姓名+研究方向即可加入工坊一起學習進步。