复旦大学牵头发布OpenViTac视觉-触觉基准数据集 破解具身机器人跨域评测标准缺失痛点

当前，具身智能产业正处于技术落地的关键窗口期，视觉-触觉多模态融合是机器人突破复杂操作能力的核心技术路径，但长期以来，行业始终缺乏贯通仿真与真实环境的统一评测基准，不同研发团队的算法效果难以横向对标，仿真环境训练的模型迁移到真实场景时普遍存在性能跳水的“sim2real鸿沟”，成为制约触觉机器人技术落地的核心痛点之一。2026年10月8日，由复旦大学牵头，联合上海市多模态具身智能重点实验室、合肥工业大学、新加坡国立大学、Neote AI与中国联通等多家产学研机构共同构建的OpenViTac统一视觉-触觉机器人操作基准数据集正式首发于arXiv平台，瞄准这一行业痛点给出了标准化解决方案。

据介绍，OpenViTac基准围绕物理属性感知、脆弱物体感知、富接触操作和精细操作四大核心能力维度构建，共覆盖11项仿真任务与8项配对真实任务，支持2种夹爪配置和3类主流触觉传感器接入。为了实现仿真与真实场景的高一致性对齐，该数据集采用智能体辅助的真实到仿真构建流水线，通过多视图重建技术生成高还原度仿真资产，在任务层面对齐物体属性、操作目标与机器人初始状态，同时支持自定义配置背景和场景外观以扩展数据分布，大幅降低了跨域评测的误差。

该数据集主要服务于VLA、WAM与VTLA策略的跨域评估，并可支撑触觉表征学习、多模态融合策略研发及仿真-真实协同训练等方向的研究，从根源上解决了此前触觉机器人操作领域缺乏统一评测基准的行业难题。从应用场景来看，OpenViTac可为工业3C精密装配、汽车零部件组装场景的机器人操作算法提供标准化评测工具，减少研发阶段的真实环境测试成本；也可为物流场景的生鲜、易碎品分拣机器人的触觉感知算法优化提供数据支撑，降低分拣环节的货损率；在医疗健康领域，还能为微创外科手术机器人的精细操作能力验证提供统一评测体系，推动手术机器人的临床落地效率。

作为具身智能领域核心的公共数据资源，OpenViTac的发布对我国数据要素市场建设与人工智能产业创新均有重要意义：一方面填补了国内视觉-触觉多模态机器人操作统一评测领域的技术空白，另一方面也为全球具身智能领域的算法研发、横向对标提供了标准化工具，将有效提速仿真-真实跨域技术的落地进程，助力我国具身智能产业抢占全球技术创新高地。

查看OpenViTac

详情页内容：