为了在家庭环境、办公室和公共场所完成现实任务，机器人应该能够有效地抓取和操纵各种物体。近年来，开发人员创建了各种基于机器学习的模型，旨在让机器人能够熟练地操纵物体。

虽然其中一些模型取得了良好的效果，但要想表现良好，通常需要对大量数据进行预训练。用于训练这些模型的数据集主要由视觉数据组成，例如带注释的图像和使用摄像机拍摄的视频片段，但有些方法还会分析其他感官输入，例如触觉信息。

卡内基梅隆大学和奥林工程学院的研究人员最近探索了使用接触式麦克风代替传统触觉传感器的可能性，从而能够使用音频数据来训练用于机器人操控的机器学习模型。他们的论文发布在预印本服务器arXiv上，可能为这些模型的大规模多感官预训练开辟新的机会。

Jared Mejia、Victoria Dean 及其同事在论文中写道：“尽管对大量数据进行预训练有利于机器人学习，但当前的范式仅对视觉表征进行大规模预训练，而其他模态的表征则从头开始训练。”

“与丰富的视觉数据相比，尚不清楚哪些相关的互联网规模数据可用于预训练其他模式(例如触觉感知)。这种预训练在机器人应用中常见的低数据环境中变得越来越重要。我们使用接触式麦克风作为替代触觉传感器来解决这一问题。”

作为他们最近研究的一部分，Mejia、Dean 及其合作者对 Audioset 数据集中的视听表征进行了自监督机器学习方法的预训练，该数据集包含从互联网收集的 200 多万个 10 秒的声音和音乐片段视频片段。他们预训练的模型依赖于视听实例识别 (AVID)，这是一种可以学习区分不同类型视听数据的技术。