Facebook 改名後不久，其在官方部落格中概述了其在開發硬體、模擬器、庫、基準測試和資料集等方面的進展，想必扎克伯格推崇的元宇宙離不開這些技術的支援。

機器之心報道，編輯：小舟、陳萍。

幾天前，在 Facebook Connect 2021 線上大會中，扎克伯格正式宣佈了 Facebook 的新名字——Meta。扎克伯格表示：「隨著時間的推移，我希望我們被視為一家元宇宙公司」。此處的元宇宙本質上是一個虛擬現實平臺，人們可以在這個平臺上的數字環境中聚集、交流。實現這一願景，當然離不開技術的加持。

就像改名一樣始料未及，幾年前扎克伯格曾認為 Facebook 沒有理由要進行機器人方面的研究，但現在機器手上的觸覺感知已經是 Meta 一個重要的新興研究方向。

觸覺感知旨在理解和複製物理世界中人類的觸控技能，使機器人更有效地與周圍世界互動。觸覺感知的進步將導致 AI 可以學習和使用自己的觸覺以及與其他感知方式（如視覺和音訊）結合使用，就像人類一樣。此外，提高機器人的觸覺將使它們更有能力，也更溫和、更安全。

就在近日，

Meta 概述了其在開發硬體、模擬器、庫、基準測試和資料集方面的進展

。觸覺感知生態系統對於構建 AI 系統至關重要，透過觸覺感知，AI 系統才具有理解和互動的功能。

具有觸覺感知的機械手可以輕鬆的抓取雞蛋：

左邊沒有觸覺感知的機械手把雞蛋捏碎了：

Meta 這項觸覺感知上的進步得益於 DIGIT 感測器和一種名為 ReSkin 的觸控感應「面板」。現在 Meta 對這兩項技術進行了詳細的介紹。

硬體

讓 AI 能夠使用觸覺資料並從中學習，首先需要能夠收集和處理這些資料的感測器。理想情況下，觸控感應硬體應該模擬人類手指的許多屬性。一方面，用於機器人指尖的感測器應該相對緊湊。這需要先進的小型化（miniaturization）技術，這些技術的生產成本非常高，並且通常超出了大多數學術研究的能力範圍。另一方面，這類感測器需要承受因反覆接觸表面而造成的磨損。此外，觸控感測器還需要具有高解析度，以測量有關被觸控物件的豐富資訊，例如表面特徵、接觸力以及透過接觸可識別的其他物件屬性。

DIGIT

安裝在機械手上的 DIGIT 感測器操縱玻璃彈珠。

為了提供一種專為機器人手動操作設計、易於構建、可靠、低成本、緊湊且高解析度的觸覺感測器，Meta（Facebook）在 2020 年釋出了 DIGIT 的完全開源設計。與目前可用的商用觸覺感測器相比， DIGIT 的製造成本要低得多，並且提供了數十萬個接觸點，大大提升了它的研究和使用價值。

作為 Meta AI 的合作伙伴，MIT 的衍生公司 GelSight 擁有獨特的數字觸覺感測技術和產品，現在將商業化製造 DIGIT。商用 DIGIT 將為更多研究人員提供觸控感應方面的便利，加快學術研究的進步。如果要製造 1000 個 DIGIT 感測器，那麼每個 DIGIT 感測器的材料成本大約只有 15 美元，因此 Meta 的團隊預計商用版 DIGIT 的成本不會太高。

ReSkin

除了 DIGIT，Meta AI 的研究者還和卡內基梅隆大學（CMU）合作開發了一種開源的觸控感應「面板」ReSkin，外形小巧，可以幫助機器人和其他機器在更大的表面上學習高頻觸覺。和 DIGIT 一樣，ReSkin 旨在打造一個開源、強大且成本極低的系統，讓研究人員能夠專注於開發軟體以幫助機器人感知觸覺，而不必在硬體上浪費時間。

ReSkin 本身是一塊 2 毫米厚的柔性矽膠片，其中混有磁性顆粒。每當有東西接觸該膠片使其變形時，嵌入其中的磁性顆粒就被壓扁，磁訊號發生變化，由磁力計拾取。因此，ReSkin 不必直接與磁力計相連。這使得 ReSkin 感測器中最有可能損壞的部分變得非常容易更換，這也是 ReSkin 的優勢所在。

ReSkin 可以幫助研究人員快速、大規模地提高他們的 AI 觸覺感應技能。利用機器學習和磁感應方面的進步，ReSkin 具有廉價、多功能、耐用且可替換的優點。它採用自監督學習演算法來幫助自動校準感測器，使其具有通用性並使得感測器和系統能夠共享資料。

模擬

Meta 開發並開源了 TACTO，這是一種基於視覺的高解析度觸覺感測器模擬器，即使在沒有硬體的情況下，也可實現更快的實驗平臺並支援機器學習研究。模擬器在機器人技術的原型設計、除錯和基準測試中發揮著重要作用，因為模擬器使我們能夠測試和驗證假設，而無需在現實世界中進行耗時的實驗。

TACTO 能夠以每秒數百幀的速度呈現逼真的高解析度觸控讀數，透過簡單設定來模擬基於視覺的觸覺感測器，其中包括 DIGIT、OmniTact。TACTO 使研究人員能夠模擬基於視覺的觸覺感測器，這些感測器具有不同的形狀，可以安裝在不同的機器人上。TACTO 和 DIGIT 透過提供低成本的參考實施，使研究者能夠快速原型化多模態機器人操作策略，從而實現基於視覺的觸覺感知。

PyTouch

類似於 DIGIT 這樣的觸覺感測器可以處理高維和觸覺感知資料，這是傳統分析方法難以處理的。機器學習 （ML） 模型可以簡化模型的設計和實現，這些模型可以將原始感測器讀數轉換為高階屬性（例如，檢測滑動和識別材料）。但是，如果沒有 ML 背景，訓練一個模型來處理觸覺資料是極具挑戰性的。為了提高程式碼的複用率並減少部署時間，Meta 建立了一個名為 PyTouch 的觸覺感應 ML 模型和功能庫。

研究人員透過 PyTouch 可以跨不同感測器訓練和部署模型。它目前提供了一些諸如檢測觸控、滑動（slip）、估計物體姿態等基本功能。最終，PyTouch 將與現實世界的感測器和觸覺感測模擬器整合，以實現模型的快速驗證以及 Sim2Real 功能（能夠將在模擬中訓練的概念轉化為實際應用。）

PyTouch 啟用了一種基於學習的方法來構建應用程式，這使得更多的研究者可以使用觸覺處理功能。OpenCV 、 Detectron2 等預訓練模型庫為計算機視覺研究人員提供了最先進的技術，而無需從頭開始建立和訓練模型。同樣的，PyTouch 的目標是授權更廣泛的研究社群，使得在其應用程式中使用更多的觸覺。

基準和資料集

觸覺感測器和模擬器的可用性為多個層級的指標和基準鋪平了道路。在硬體層面，現有的基準和資料集，可以用來評估感測器的設計選擇；在感知層面，可以使用基準來比較不同的 ML 模型在不同的觸覺感知用例中的作用；在機器人控制層面，現在可以在模擬和現實世界中對主動控制任務（例如手動操作）中的觸控進行基準測試等 。儘管研究者在啟用系統測量方面取得了進展，但我們應該努力定義和釋出可以指導更廣泛社群取得更可衡量進展的指標和基準，我們仍然需要仔細調查這些不同的層級以及它們之間的相互作用。

參考連結：

https：//

ai。facebook。com/blog/re

skin-a-versatile-replaceable-low-cost-skin-for-ai-research-on-tactile-perception/

https：//

ai。facebook。com/blog/te

aching-robots-to-perceive-understand-and-interact-through-touch/