上海人工智能实验室 发布 RoVI Book 数据集, 应用在 机器人视觉、自然语言处理 领域

上海人工智能实验室 本次发布的数据集 RoVI Book, RoVI Book数据集由上海人工智能实验室的研究人员创建，包含15,000个图像-文本问答对，旨在帮助视觉语言模型学习理解RoVI（机器人视觉指令）的能力。数据集覆盖了64%的单步任务和36%的多步任务，涉及移动物体、旋转物体、拾取、打开/关闭抽屉/橱柜等五种基本的操作技能。数据集提供了RoVI分析、任务名称、细粒度规划步骤和Python函数的答案，通过GPT-4o生成并经过语义过滤。数据集的创建是为了解决自然语言在机器人任务定义中的空间精度不足问题，通过手绘的符号表示来传达更精确的空间时间信息，使机器人能够更好地理解RoVI并执行精确的动作。

查看RoVI Book

关于 上海人工智能实验室 , 上海人工智能实验室是我国人工智能领域的新型科研机构，开展战略性、原创性、前瞻性的科学研究与技术攻关，突破人工智能的重要基础理论和关键核心技术，打造“突破型、引领型、平台型”一体化的大型综合性研究基地，支撑我国人工智能产业实现跨越式发展，目标建成国际一流的人工智能实验室，成为享誉全球的人工智能原创理论和技术的策源地。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。