当前,具身智能已成为全球AI与机器人产业融合发展的核心赛道,随着大模型技术向机器人场景渗透,高质量、多模态、标注完善的机器人交互训练数据,已成为制约算法落地、技术迭代的核心瓶颈之一。针对这一行业痛点,DAVIAN-Robotics正式发布mh_tasks专业机器人数据集,该数据集依托HuggingFace开源的LeRobot工具集创建,是国内为数不多面向机器人任务学习与模拟场景的标准化数据集,首发上线HuggingFace平台后即可供全球科研机构、企业研发团队开放获取。
本次发布的mh_tasks数据集基于广泛应用于科研场景的Franka协作机器人采集完成,共包含100个任务交互片段(episodes),总帧数达29876,覆盖10类不同的典型机器人操作任务。数据集的标注维度覆盖机器人全量运行状态与多模态感知数据:观察状态维度包含机器人关节位置(q_0到q_6)、关节速度(qdot_0到qdot_6)、末端执行器的位置(x, y, z)、姿态四元数(qx, qy, qz, qw)、线速度(vx, vy, vz)、角速度(wx, wy, wz)、夹爪位置和抓取状态;动作数据维度涵盖末端执行器的位置、姿态四元数和夹爪控制指令。此外,数据集同步提供左后、腕部、右后三个摄像头的同步视频数据,单路视频分辨率为480x640、帧率20fps,采用AV1编码格式压缩,可支撑多视角视觉感知算法的训练与验证。存储方面,观测与动作数据以高压缩率、高读写效率的parquet文件存储,视频文件采用通用MP4格式,同时配套完整的时间戳、帧索引、episode索引、任务索引等元数据,可大幅降低研发团队的数据预处理成本。
从应用场景来看,mh_tasks数据集可广泛覆盖具身智能领域的多个研发方向:在工业协作机器人场景,可支撑精密装配、物料分拣、柔性操作等任务的控制算法训练;在服务机器人场景,可为桌面物品整理、人机交互操作等任务的模仿学习模型提供标准化训练素材;同时也可支撑端到端视觉-运动控制算法、多模态感知融合算法、强化学习模型的效果验证,大幅降低相关研发团队的原始数据采集成本,缩短技术迭代周期。作为机器人领域的垂直类数据集,mh_tasks的发布也进一步丰富了国内具身智能领域的数据要素供给,对推动我国具身智能技术落地、完善数据要素产业在高端制造领域的应用场景具有积极意义。





_1769672084863.jpg)