關於車道線檢測方法的論文介紹

作者 | 黃浴黑芝麻智慧自動駕駛技術研究副總裁

本文選取了最近發表的車道線檢測論文，都是基於深度學習方法，但考慮的角度有所不同：檢測、分割和後處理等。

1。 “Ultra Fast Structure-aware Deep Lane Detection，arXiv 2004。11757，4，2020

車道線檢測任務看成是基於全域性影象特徵的行選擇（row selection）分類問題。其中提出一個structural loss 明確建模結構資訊，速度很快，300+ FPS。

程式碼上線：

https：//

github。com/cfzd/Ultra-F

ast-Lane-Detection

。

如圖顯示如何選擇行的問題：在每個row anchor水平選擇。

設X是全域性影象特徵，f是分類器選擇一行的車道線位置，即車道線預測定義為：

設T是位置的one-hot編碼，則分類器的最佳化形式是：LCE是cross entropy loss

下圖顯示分割和行選擇的區別：這種方法依賴的是整個影象的感受野，遠遠大於分割網路的有限感受野。

除了分類損失項，還有對location的建模。文中如此定義lane structural loss：它包括相似性和形狀（直線）的兩個loss函式項

其中

關於lane location

不過argmax操作是不能微分的，故此計算改成計算機率

這樣lane location變成可微分的操作

最終的損失函式為：

整個模型架構如圖所示：包括feature extractor，classification-based prediction和auxiliary segmentation task（只在訓練時，聚合區域性特徵和全域性上下文資訊）等，group classification在row anchor執行。

實驗結果如下：直觀例子

2 “PolyLaneNet： Lane Estimation via Deep Polynomial Regression“，arXiv 2004。10924，4，2020

PolyLaneNet，採用deep polynomial regression，速度達到115FPS。

程式碼上線：•

https：//

github。com/lucastabelin

i/PolyLaneNet

如圖是其架構概覽：

實驗結果比較如下：

該方法的直觀結果：

3 “End-to-End Lane Marker Detection via Row-wise Classification“，arXiv 2005。08630，5，2020

傳統方法採取pixel prediction加post processing，而該方法是一種端到端的方式做direct lane marker vertex prediction，無需後處理。作者設計一種新的NN層，逐漸壓縮水平元件，叫horizontal reduction modules （HRMs）。它實現端到端檢測，其中位置基於argmax得到。這個模型叫E2E-LMD，直接預測lane marker vertex。如圖是其框架顯示：

E2E-LMD的架構圖如下：

其加入連續horizontal reduction modules擴充套件普通的encoder-decoder architectures。第一步：構建編碼器-解碼器；第二步：逐漸壓縮HRM的水平維度，無需改變垂直維度。最後一步：兩個分支row-wise vertex location branch和vertex wise confidence branch，分類和置信度迴歸。

為提高檢測效能，採用了Squeeze and Excitation （SE） block，實現注意機制。如圖是加入SE前後的檢測變化：

實驗結果比較如下：

這是基於ERFNet主幹網的定性檢測結果：

4。 “CurveLane-NAS： Unifying Lane-Sensitive Architecture Search and Adaptive Point Blending“， arXiv 2007。12147，7，2020

華為論文，curve lanes檢測很難，缺乏建模的長時上下文資訊和帶細節的彎曲軌跡。提出一個lane-sensitive architecture search framework，

CurveLane-NAS

，自動獲取長時和短時曲線資訊。包括三個部分：a）

feature fusion search

module，對multi-level hierarchy features找到較好的local and global context 融合； b）彈性的

backbone search

module，開發帶語義和潛力的 feature extractor； c）

adaptive point blending

module，搜一個multi-level post processing renfiement strategy，以此組合multi-scale head prediction。

華為的開源車道線資料集

CurveLanes

：大約150K images，90% 是彎曲車道線（大概 135K images），相比來說CULane Dataset （大約2。6K images）和TuSimple Dataset （大約3。9K images），如圖是一些比較例子。

之前的PointLaneNet 和Line-CNN這兩個方法，還是按照 proposal-based diagram 產生多個point anchor 或者 line proposals。CurveLane-NAS提出一個包括multi-level prediction heads 和 a multi-level feature fusion的搜尋空間，包含了long-ranged coherent lane 資訊和short-range curve 資訊。

如圖檢測演算法比較：（a） dense prediction based （

SCNN

），（b） proposal based （

Line-CNN

），（c） CurveLane-NAS。

NAS是網路結構引數的自動調優。先定義搜尋空間，然後透過搜尋策略找出網路結構，並進行評估，再以此反饋進行下一個迭代的搜尋。搜尋策略有基於強化學習的方法、基於進化演算法的方法和基於梯度的方法等。基於進化演算法，CurveLane-NAS設計了一個搜尋空間和一個基於樣本的多目標搜尋演算法，來檢測曲線車道。

下圖是NAS做車道線檢測的流水線架構：前面提到的三個模組

如圖示意Point Blending Search模組（取代NMS）：對每個預測頭，預測每格的offsets和相應的scores。每個lane prediction 可以被offset和point anchors位置來恢復。

Adaptive score masking 允許在 multi-level prediction存在多個ROI。point blending 技術可以用準確的區域性點取代一些高置信度anchor的預測點。而遠端更細的curve shape則用local points修復。

實驗結果比較如下：

直觀比較圖：

5。 “Heatmap-based Vanishing Point boosts Lane Detection“，arXiv 2007。15602，7，2020

利用幾何結構資訊，vanishing point，提出一個多工融合框架，基於ERFNet，影象分割模型，heatmap regression預測車道線的消失點VP。其示意圖如下所示：

實驗結果比較如下：

6。 “LDNet： End-to-End Lane Detection Approach using a Dynamic Vision Sensor”，arXiv 2009。08020，9， 2020

車道線檢測的挑戰：光照變化、太陽強光、運動模糊等等。這裡採用事件攝像頭（event camera）的動態視覺感測器，提出Lane Detection using dynamic vision sensor （LDNet）。

如圖看普通攝像頭和事件攝像頭的區別：

下圖是LDNet的架構：

其中採用的空洞SPP：

還有Attention模組結構：

下表給出實驗結果比較：

7。 “RONELD： Robust Neural Network Output Enhancement for Active Lane Detection“，arXiv 2010。09548， 11， 2020

主動車道（active lane）劃定單個道路的空間。檢測的挑戰來自外界的光照和車道自身單調錶觀。本文提出的方法實際上是一種增強方法，即real-time robust neural network output enhancement for active lane detection （RONELD）。其利用深度學習模型得到的機率圖，包括以下模組：自適應車道點檢測、彎曲車道檢測、車道重建和跟蹤等，如圖所示。注：這裡採用了兩個模型SCNN和ENet-SAD做實驗。

這裡是一些增強結果的比較：兩個資料集測試

8。 “Keep your Eyes on the Lane： Real-time Attention-guided Lane Detection“，arXiv 2010。12035，11，2020

LaneATT，和Line-CNN一樣的，基於錨點的車道線檢測方法，類似YOLO3和SSD。除了區域性資訊，也強調全域性資訊，比如遮擋、缺失或者弱顯示等情況下的處理。該方法實時性強（速度250FPS），在三個基準資料集測試過：TuSimple， CULane 和 LLAMAS。

其架構如圖：除了錨點的特徵池化（類似Fast R-CNN），還有attention機制的採用。

如下是結果比較：

9。 “End-to-end Lane Shape Prediction with Transformers“，arXiv 2011。04233， 11，2020

無所不在的

Transformers

，很善於學習全域性上下文，針對車道線這種細長結構，直接估計車道線形狀模型，即lane shape model。

程式碼上線：liuruijin17/LSTR

用cubic curve定義平坦路面的車道線

那麼曲線投影到影象平面變成：（假設光軸和路面平行）

如果攝像頭斜著不與路面平行，則：

修正的曲線方程變成：

Hungarian fitting loss 在預測引數和真值車道線做bipartite matching，找到positives和negatives，很有效。

如圖所示是主幹架構：包括一個reduced transformer network，幾個feed-forward networks （FFNs）做parameter predictions，和Hungarian Loss。

給定輸入影象I，主幹提取low-resolution feature，並扁平成序列S；S和positional embedding Ep 輸入編碼器，輸出表示序列Se；然後解碼器產生輸出序列Sd，其中輸入查詢序列 Sq 和一個學習的positional embedding ELL，然後計算其與Se、Ep的互動，得到特徵；最後多個FFNs 直接預測輸出引數。

如圖是編碼器和解碼器結構：

實驗結果比較如下表：

下圖是TuSimple資料集的比較：

下面是在FVL資料集的transfer結果：沒有額外訓練

10。 “End-to-End Deep Learning of Lane Detection and Path Prediction for Real-Time Autonomous Driving”，arXiv 2102。04738，2，2021

提出three-task convolutional neural network （

3TCNN

），包括一個bounding box的regression分支、一個Hu moments的regression分支和一個classification分支。其中Hu moments迴歸能做車道線定位和道路引導。另外，本文特別點是一個lateral offset-path prediction （PP）模組，能夠預測駕駛道路，包括車道中心線動態估計和道路曲率估計。

如圖是其實現在TORCS的結構：