随着具身智能成为全球AI领域的技术落地热点，双臂机器人因具备适配人类操作场景、完成复杂协同任务的优势，成为工业自动化、实验室自动化、医疗机器人等赛道的重点研发方向。但长期以来，面向双臂精细操作的多模态开源数据集供给不足，尤其是可用于测试模型分布外（OOD）泛化能力的专用数据稀缺，成为制约相关技术从实验室走向真实场景的核心瓶颈之一。近日，由微软联合创始人保罗·艾伦创立的知名非营利AI研究机构Allen Institute for AI（艾伦人工智能研究所）正式对外发布eval_molmoact_pipette_ood开源数据集，该数据集是目前少数专门针对双臂机器人移液操作场景打造的OOD测试数据集，所有数据基于Hugging Face旗下机器人学习开源框架LeRobot生成，可直接适配主流具身智能模型的训练与测试流程，大幅降低研究者的数据预处理成本。
据公开信息显示，本次发布的数据集专门适配bi_yam_follower（双臂Yam跟随机器人）的操作特性，共覆盖3类不同的移液相关任务，包含24个完整任务序列（episodes）、总计18629个时间步（帧），总数据文件大小约100MB，关联30FPS帧率的同步视频文件约200MB，全量数据均划入训练集供研究者免费使用。
数据集的核心结构包含四大类特征字段，覆盖多模态机器人学习的全维度数据需求：1) 动作（action）：为14维浮点向量，分别对应左臂6个关节位置、左夹爪位置、右臂6个关节位置、右夹爪位置的控制参数，可支撑研究者搭建动作指令与机器人执行输出的精准映射模型；2) 状态观测（observation.state）：为14维浮点向量，与动作字段一一对应，记录了操作过程中左右臂各关节及夹爪的实时位置数据，可用于强化学习奖励函数设计、动作偏差校正算法研发等场景；3) 图像观测（observation.images）：包含右、左、顶三个固定视角的同步RGB视频流，单帧分辨率为640x360像素，采用AV1编码、YUV420p像素格式，多视角的同步视觉数据可支持视觉特征融合、遮挡场景下的操作定位等方向的研究，解决单视角视觉输入的信息局限性问题；4) 元数据：涵盖时间戳、帧索引、任务序列索引、全局索引、任务索引五类标注信息，方便研究者对任务进行拆分与时序分析，提升模型训练的可解释性与调试效率。
从应用场景来看，该数据集可广泛适配机器人模仿学习、强化学习、策略学习以及多模态（状态+视觉）机器人控制等研究任务。由于其聚焦实验室移液这类精细操作场景，且具备OOD（分布外）数据属性，未来可支撑生命科学实验室自动化机器人、高通量药物筛选操作机器人、工业精密装配双臂机器人、微创手术机器人等多个垂直领域的具身智能模型研发，尤其适合用于验证模型在非标准化、未知真实场景下的泛化能力，破解当前多数具身智能模型仅能在固定实验室场景落地的痛点。作为具身智能领域的新增开源数据供给，本次数据集的发布也进一步丰富了全球机器人学习领域的公共数据要素池，对于降低双臂机器人研发门槛、推动多模态具身智能技术的商业化落地具有重要的公共价值。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)