From：bair 編譯：T。R

人的手指VS本文提出的OmniTact新型觸覺感測器

觸覺對於機器人的靈巧操作十分重要，近年來

凝膠觀測(GelSight)感測器

由於低成本和豐富的觸覺訊號吸引了基於學習的機器人領域研究人員的大量關注。GelSight被用於USB線纜插入、擲骰子、物體抓取等領域的研究。

GelSight感測器在基於學習的方法下工作良好主要是由於

它可以輸入高解析度的觸覺影象

，從中可以獲取包括目標幾何外形、表面紋理、法向量、剪下力等豐富的特徵，這些資訊對於機器人的控制十分重要。

觸覺影象可以利用標準的計算機視覺卷積網路進行處理，由此出現了一系列廣泛的研究成果：Calandra等人基於GelSight資料利用自監督的方法訓練了抓取成功分類器的模型；Tian等人則提出了基於影片預測的控制演算法Visual Foresight，使得機器人可以基於純粹觸覺影象來擲骰子；Lambeta等人還提出了一種基於GelSight影象的強化學習演算法應用於手工操作。

但將GelSight感測器應用於實際工作中還受限於尺寸和視場問題。目前的GelSight感測器都只有單個方向具有感測能力，同時尺寸較大不方便在實際操作中使用。在這篇文章中，研究人員提出了一種

更為緊緻的全向感測器，可以實現像人類手指一樣的全方位感知，為感知運動學習提供了新的思路。

GelSight感測器

下圖顯示了先前的觸覺感測器和目前的新型感測器對比圖，左圖是標準的GelSight感測器，基於webcam來捕捉矽膠外殼形變的高解析度影象，內部由不同顏色的光照射，為觸覺提供了豐富的彩色影象。可以看到其視野只有朝向外部的一個方向，並且感測器的尺寸較大表面較為平滑，感受野較小，解析度較低（~400x400 pixels），不適宜較小物體的觸覺感知。而商用的OptoForce力感測器則只能提供比較單一的力向量，無法滿足精細化的操作要求。

GelSight標準感測器和本文提出的OmniTact感測器的比較

OmniTact Sensor

而OmniTact的設計則克服了這些確定，它配備了多個方向攝像頭和高解析度的感知結果，同時彎曲矽膠曲面包裹的感測器更為緊湊適應性更好（上圖中右側灰色矩形代表了攝像頭，橙色線則表示感知視野）。與GelSight相似，OmniTact也利用了嵌入在矽膠外殼內的攝像頭來捕捉形變資訊，可以提供包括剪下-法向力、目標位姿、幾何形狀、材料特性等豐富的資訊。

OmniTact的特點在於使用了多個相機同時實現高解析度和多方向感知能力，製作成像手指一樣小巧外形的感測器可以被整合到夾爪或者機器手上。OmniTact利用了內窺鏡中的微型相機來保證了感測器的小型化，並將矽膠直接灌注在了相機表面。下圖顯示了感測器獲取的接觸圖案：

上圖顯示了不同目標的觸覺圖樣，下圖顯示了不同角度在齒條上的觸覺圖樣。

設計創新

OmniTact的目標在於儘可能的緊湊，研究人員使用了常用於內窺鏡中大視場短焦距的微型相機，尺寸為1。35x1。35x5mm焦距為5mm，安放於3D列印的支架上。下圖顯示了垂直方向和水平方向上的橫截面圖，其中淺灰色代表了每個相機的視野，在減小盲區的基礎上實現了較小的感測器直徑（30mm）。

垂直和水平橫截面檢視，淺灰色代表（相機）感測器感受範圍，垂直方向達到了270度，水平方向則達到了360度全向（僅僅有少許的盲點）。

插插座任務

為了展示這種感測器的能力，研究人員選擇了具有挑戰性的

插插座

任務，僅僅依靠觸覺感測器資訊將充電頭插到牆上的插座裡。這一任務既需要定位插頭相對於夾爪的位置，又需要定位夾爪相對於牆上插座的位置。

圖中顯示了實驗過程以及觸覺感測器側向和頂部觸覺影象

為了學習插入任務，研究人員使用了簡單的模仿學習演算法，基於OmniTact觸覺影象來估計將插頭插入插座的末端位移。在僅僅使用鍵盤控制

100次

訓練後，模型就能很好地完成任務了。

下表顯示了使用OmniTact感測器帶來的成功率提升，證明了多方向觸覺感測器是解決這類問題的關鍵所在。而使用單方向或者力感測器成功率都大幅下降。

研究人員認為更為緊湊、全面、清晰的視覺感測器對於通用機器人任務和各領域的遙操作等應用具用重要意義，未來將繼續探索小型化和低成本化的感測器，使其適應於更大的應用範圍。

如果想要了解更多細節請參看論文和專案網站的更多資料：

Paper：

https：//

arxiv。org/abs/2003。0696

5

Research Website：

https：//

sites。google。com/berkel

ey。edu/omnitact/home

code：

https：//

github。com/s-tian/bench

-press

http：//

thejiangmen222。mikecrm。com

/wY67hy2

（二維碼自動識別）

-The End-

戳右上角【+關注】關注我門↗

如果喜歡，點個【▲贊同】分享給你的小夥伴吧~筆芯❤