arXiv2019年12月上傳的,發表在IEEE Transactions on Intelligent Transportation Systems,10月底有修改版: “Cooperative Perception for 3D Object Detection in Driving Scenarios using Infrastructure Sensors”。

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

單視角或者單智體的感知,比如3-D目標檢測總有一些無法解決的問題,如有限視角、低點雲密度和遮擋等。那麼多個空間稀疏分佈的感測器(即使是單模式)可以提供協同感知克服以上問題。

融合主要分早期和晚期兩種(也有中期特徵級別)。本文評估兩種3-D點雲目標檢測的融合方法,主要採用一個合成數據集,模擬兩種交通場景:環島和T-型路口。結果表面,早期融合明顯好於晚期融合。另外,融合的空間點也是一個因素。

如圖是系統模型:資料在中央融合系統彙總各個感測器的資料,形成周圍車輛共享一個目標單的結果。

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

這裡所有感測器的資料要轉換成一個統一的座標系下

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

如下圖是早期(a-)和晚期(b-)融合的協同目標檢測的示意圖:

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

還有一種混合方案:與晚期融合相比,早期融合方案可以提高檢測目標的可能性,歸因於檢測之前的匯聚資訊,但需要原始感測器資料共享,這增加了通訊成本;作為中間解決方案,混合融合方案使用這兩種方案,在不顯著增加通訊成本的情況下提升檢測的可能性;關鍵點是在感測器可見度較高的情況下共享高階資訊(晚期融合),可見度較低的情況下共享低階資訊(早期融合);靠近感測器的目標將具有較高的點密度,因此更可能使用單個感測器的觀測值來檢測;因此,不需要將感測器附近的點傳輸到中心融合系統,可減少通訊頻寬。

首先,在每個感測器節點採用晚期融合方案,並將檢測到的目標框共享給中心融合系統;接著,每個感測器節點選擇其在水平面投影在半徑R的圓之外的點,與中心融合系統共享;半徑R數值用來調節早期融合和晚期融合之間的權衡;隨著R減少,中心融合系統共享更多原始資料;然後,中心融合系統對輸入的點雲使用早期融合方案,並將檢測到的邊框與每個感測器節點的晚期融合結果進一步融合。

目標檢測方法基於VoxelNet【19】:即Apple以前提出的方法,如圖(方法不是問題重點)

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

模擬器採用Carla,對環島和丁字口的模型場景如圖所示:因為目前沒有做這個的資料可用吧,只有自動駕駛公司才會收集實際的感測器資料。

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

這裡採用的感測器是RGB-D,丁字口用了6個攝像頭,環島用了8個攝像頭,結果depth影象會轉換為點雲,即

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

這裡給出一些結果:

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

介紹一篇路端感測器的cooperative perception(3D目標檢測)論文

注:這裡沒有考慮車路協同,只有路端融合結果共享給車輛,而不是運動的車輛感測器和道路感測器的融合,這樣會面臨道路感測器資料轉換到動態車輛座標系的複雜問題。