当前，全球具身智能产业正处于技术迭代与商业化落地的关键窗口期，机器人的精准操作控制、多模态环境感知能力是决定其能否在工业、物流等场景规模化落地的核心指标，而覆盖真实作业场景的多模态同步数据集，是训练相关算法、降低研发门槛的核心基础资源。此前行业内多数公开数据集多以仿真数据、单模态数据为主，缺乏真实机器人作业过程中本体状态与环境视觉的同步采集数据，成为掣肘中小研发团队技术落地的重要瓶颈。
近日，开源数据贡献方dmowns正式发布so101_stack_boxes_test_20260509_150552数据集，该数据集由LeRobot创建，于2026年5月9日首发于全球最大的AI开源社区HuggingFace，专注服务机器人领域研发需求。
从公开的数据集参数来看，该数据集覆盖机器人箱体堆叠典型作业场景，包含多维度同步采集的特征数据：运动维度覆盖动作与观察状态两类6个关节位置数据，视觉维度包含手腕、前方双视角的480x640分辨率、30fps帧率的图像数据，同时配套完整的时间戳、帧索引、任务索引等标注信息，方便研发人员进行数据对齐与调用。数据集总共有5个完整作业周期（episodes）、8995帧有效数据，覆盖1项核心堆叠作业任务，结构化数据采用高效存储的parquet格式，视频素材采用通用mp4格式存储，采集所用机器人型号为so_follower。值得关注的是，该数据集采用apache-2.0开源许可证，支持学术研究、商业开发等场景免费使用，无需额外授权。
作为聚焦真实作业场景的多模态机器人数据集，其可应用的研发方向十分广泛：在机器人操作控制领域，研发人员可基于同步采集的关节位置数据，优化码垛、分拣等工业场景下的机器人运动轨迹算法，提升作业精度与运行效率，降低碰撞、掉件等故障概率；在多模态感知领域，可结合双视角视觉数据与本体运动数据，训练机器人识别不同摆放形态、不同尺寸的箱体，预判堆叠过程中的重心偏移风险，提升复杂非结构化场景下的环境感知能力；此外，该数据集还可作为仿真到真实落地的验证基准，测试在仿真环境中训练完成的算法在真实作业场景下的泛化适配能力，缩短具身智能技术的落地周期。
本次数据集的发布，进一步丰富了国内具身智能领域的开源数据供给，为中小研发团队、高校科研团队降低了数据采集成本，对推动工业机器人、仓储物流机器人在制造、流通场景的规模化应用具有重要的支撑作用。
查看so101_stack_boxes_test_20260509_150552
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)