文章来源于互联网:聚焦「视听触感官」协同配合的具身精细操纵，人大胡迪团队领衔探索机器人模态时变性挑战
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
本文作者来自于中国人民大学，深圳朝闻道科技有限公司以及中国电信人工智能研究院。其中第一作者冯若轩为中国人民大学二年级硕士生，主要研究方向为多模态具身智能，师从胡迪教授。
引言：在机器人操纵物体的过程中，不同传感器数据携带的噪声会对预测控制造成怎样的影响？中国人民大学高瓴人工智能学院 GeWu 实验室、朝闻道机器人和 TeleAI 最近的合作研究揭示并指出了 “模态时变性”（Modality Temporality）现象，通过捕捉并刻画各个模态质量随物体操纵过程的变化，提升不同信息在具身多模态交互的感知质量，可显著改善精细物体操纵的表现。论文已被 CoRL2024 接收并选为 Oral Presentation。
-
论文链接：https://arxiv.org/abs/2408.01366v2 -
项目主页：https://gewu-lab.github.io/MS-Bot/
-
特征提取模块：该模块包含一系列单模态编码器，每个编码器都接受一段简短的单模态观测历史作为输入，并将它们编码为特征。 -
状态编码器：该模块旨在将各模态特征和动作历史序列编码为表示当前任务状态的 token。动作历史与人类记忆相似，可以帮助指示当前所处的任务状态。我们将动作历史输入到一个 LSTM 中，并通过一个 MLP 将它们与模态特征编码为状态 token。 -
阶段理解模块：该模块旨在通过将阶段信息注入状态 token 中，从而实现显式的由粗到细粒度的任务阶段理解。我们用一组可学习的阶段 token 来表示每个任务阶段，并通过一个门控网络（MLP）来预测当前所处的阶段，利用 Softmax 归一化后的阶段预测分数对阶段 token 进行加权融合，得到当前阶段 token。门控网络的训练以阶段标签作为监督信号，对非当前阶段的预测分数进行惩罚。我们还放松了对阶段边界附近的样本上的相邻阶段分数惩罚，从而实现软约束效果，得到更平滑的阶段预测。新的注入阶段信息后的状态 token 由原状态 token 和阶段 token 加权融合得到，可以表示任务阶段内的细粒度状态，从而对多传感器动态融合进行引导。 -
动态融合模块：该模块根据当前任务阶段的细粒度状态动态地选择关注的模态特征。我们以注入了阶段信息的状态 token 作为 Query，将模态特征作为 Key 和 Value 进行交叉注意力（Cross Attention）。该方法根据当前任务阶段的需求，将各模态的特征动态地整合到一个融合 token 中。最后，该融合 token 输入到策略网络（MLP）中预测下一个动作。我们还引入了随机注意力模糊机制，以一定概率将各单模态特征 token 上的注意力分数替换为相同的平均值，防止模型简单地记忆与注意力分数模式对应的动作。
