当前,具身智能已成为全球人工智能领域的核心前沿赛道,双臂机器人因具备协同完成精密操作的能力,被广泛应用于实验室自动化、工业精密装配、医疗辅助等场景,但分布外(Out-of-Distribution,简称OOD)场景下的泛化能力不足,一直是制约其商业化落地的核心瓶颈,高质量、标准化的场景数据集则是破解这一难题的核心基础设施。作为全球知名的非营利性人工智能研究机构,艾伦人工智能研究所(Allen Institute for AI)长期聚焦具身智能、多模态大模型等前沿方向的基础研究,此次发布的eval_openvla_pipette_ood数据集,正是面向双臂机器人OOD操作场景推出的专用基准数据集。
该数据集是依托Hugging Face推出的开源机器人学习工具栈LeRobot创建,专门针对bi_yam_follower双臂机器人配置设计,这一配置广泛应用于实验室移液、小部件精密装配等对操作精度要求较高的场景,核心目标是为研究者提供标准化的机器人执行任务时的感知-动作关联数据。本次发布的数据集共覆盖机器人执行4类不同移液相关任务时产生的24条完整操作轨迹(episodes),总计包含20010个时间步(帧),所有样本均采用多模态结构设计:1)动作空间:采用14维浮点向量结构,分别对应左、右机械臂各6个关节的位置参数,以及2个夹爪的控制指令,可完整复现机器人的每一步操作细节;2)观测空间:同时包含与动作空间维度一致的14维机器人实时关节状态数据,以及右、左、顶三个固定视角的RGB视频流,视频分辨率为360x640,帧率达到30fps,可支撑多模态感知模型的训练需求;3)元数据:包含时间戳、帧索引、episode索引、样本全局索引和任务索引五类信息,方便研究者按需拆分数据集、开展定向训练与验证。为提升使用效率,数据集采用分块Parquet文件格式组织,可满足大规模训练场景下的高效读取需求,同时配有独立的MP4视频文件,方便研究者开展可视化验证与标注优化。
从应用场景来看,该数据集可广泛支撑多个机器人学习前沿方向的研究:在模仿学习领域,研究者可基于该数据集的标准操作轨迹,训练双臂机器人完成高精度移液操作,提升模型在OOD场景下的泛化能力,降低新场景下的数据采集成本;在行为克隆方向,该数据集的全链路感知-动作关联数据,可帮助模型快速克隆标准化操作流程,降低精密操作场景的模型训练门槛;在强化学习与多模态具身大模型研发领域,该数据集也可作为基准测试集,验证策略模型在未见过的操作场景下的稳定性与动作输出精度。该数据集的发布,也为全球双臂机器人学习领域提供了统一的OOD场景基准,将推动相关技术从实验室向生物实验室自动化、精密制造等商业化场景的落地进程。





_1769672084863.jpg)