总说具身智能的数据太贵，鹏城实验室开源百万规模标准化数据集

首页 » 总说具身智能的数据太贵，鹏城实验室开源百万规模标准化数据集

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

该论文作者来自于鹏城实验室多智能体与具身智能研究所及南方科技大学、中山大学的师生团队，包括林倞教授（研究所所长，国家杰青，IEEE Fellow），郑锋教授，梁小丹教授，王志强（南科大），郑浩（南科大），聂云双（中大），徐文君（鹏城），叶华（鹏城）等。鹏城实验室林倞教授团队致力于打造多智能体协同与仿真训练平台、云端协同具身多模态大模型等通用基础平台，赋能工业互联网、社会治理与服务等重大应用需求。

今年以来，具身智能正在成为学术界和产业界的热门领域，相关的产品和成果层出不穷。今天，鹏城实验室多智能体与具身智能研究所（以下简称鹏城具身所）联合南方科技大学、中山大学正式发布并开源其最新的具身智能领域学术成果 ——ARIO（All Robots In One）具身大规模数据集，旨在解决当前具身智能领域所面临的数据获取难题。

论文题目：All Robots in One: A New Standard and Unified Dataset for Versatile.General-Purpose Embodied Agents
论文链接：http://arxiv.org/abs/2408.10899
项目主页：https://imaei.github.io/project_pages/ario/
鹏城实验室具身所网站链接：https://imaei.github.io/

作为具身机器人的大脑，想要让具身大模型的性能更优，关键在于能否获得高质量的具身大数据。不同于大语言模型或视觉大模型用到的文本或图像数据，具身数据无法从互联网海量内容中直接获取，而需通过真实的机器人操作来采集或高级仿真平台生成，因此具身数据的采集需要较高的时间和成本，很难达到较大的规模。

同时，当前开源的数据集也存在多项不足，如上表所示，JD ManiData、ManiWAV 和 RH20T 本身数据量不大，DROID 数据用到的机器人硬件平台比较单一，Open-X Embodiment 虽然达到了较大规模的数据量，但其感知数据模态不够丰富，而且子数据集之间的数据格式不统一，质量也参差不齐，使用数据之前需要花大量时间进行筛选和处理，难以满足复杂场景下具身智能模型的高效率和针对性的训练需求。

相比而言，此次发布的 ARIO 数据集，包含了 2D、3D、文本、触觉、声音 5 种模态的感知数据，涵盖操作和导航两大类任务，既有仿真数据，也有真实场景数据，并且包含多种机器人硬件，有很高的丰富度。在数据规模达到三百万的同时，还保证了数据的统一格式，是目前具身智能领域同时达到高质量、多样化和大规模的开源数据集。

对于具身智能的数据集而言，由于机器人有多种形态，如单臂、双臂、人形、四足等，并且感知和控制方式也各不相同，有些通过关节角度控制，有些则是通过本体或末端位姿坐标来驱动，所以具身数据本身比单纯的图像和文本数据要复杂很多，需要记录很多控制参数。而如果没有一个统一的格式，当多种类型的机器人数据聚合到一起，需要花费大量的精力去做额外的预处理。

因此鹏城实验室具身所首先设计了一套针对具身大数据的格式标准，该标准能记录多种形态的机器人控制参数，并且有结构清晰的数据组织形式，还能兼容不同帧率的传感器并记录对应的时间戳，以满足具身智能大模型对感知和控制时序的精确要求。下图展示了 ARIO 数据集的总体设计。

^{图 1. ARIO 数据集总体设计}

ARIO 数据集，共有 258 个场景序列，321064 个任务，303 万个样例。ARIO 的数据有 3 大来源，一是通过布置真实环境下的场景和任务进行真人采集；二是基于 MuJoCo、Habitat 等仿真引擎，设计虚拟场景和物体模型，通过仿真引擎驱动机器人模型的方式生成；三是将当前已开源的具身数据集，逐个分析和处理，转换为符合 ARIO 格式标准的数据。下面展示了 ARIO 数据集的具体构成，以及 3 个来源的流程和示例。

^{图 2. ARIO 数据 3 个来源}

真实场景的高质量的机器人数据不易获取，但意义重大。鹏城实验室基于 Cobot Magic 主从双臂机器人，设计了 30 多种任务，包括简单 —— 中等 —— 困难 3 个操作难易等级，并通过增加干扰物体、随机改变物体和机器人位置、改变布置环境等方式增加样例的多样性，最终得到 3000 多条包含 3 个 rgbd 相机的轨迹数据。下面展示了不同任务的采集示例以及采集视频。