香港科技大学 发布 ActPlan-1K 数据集, 应用在 视觉语言模型、程序规划 领域

香港科技大学 本次发布的数据集 ActPlan-1K, ActPlan-1K是由香港科技大学和加州大学圣地亚哥分校联合创建的多模态规划基准数据集，旨在评估视觉语言模型在家庭活动中的程序规划能力。该数据集包含153个活动和1187个实例，每个实例包括自然语言任务描述和来自iGibson2模拟器的多个环境图像。数据集的创建过程结合了ChatGPT和iGibson2模拟器，通过将BDDL活动定义转换为自然语言描述并收集环境图像。ActPlan-1K主要应用于评估视觉语言模型在多模态任务中的程序规划能力，特别是在家庭活动和反事实场景中的应用。

查看ActPlan-1K

README 内容： 

关于 香港科技大学 , 香港科技大学（The Hong Kong University of Science and Technology，简称HKUST）是一所位于中国香港特别行政区的公立研究型大学，成立于1991年。该校以其在工程、科学、商业和人文社会科学等领域的卓越研究和教育而闻名，是全球顶尖大学之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。