石溪大学 发布 ISO-BENCH 数据集, 应用在 多模态因果推理、模型评估 领域

石溪大学 本次发布的数据集 ISO-BENCH, ISO-BENCH是一个用于评估模型是否能够在视觉观察和程序性文本之间推断因果依赖关系的新基准。每个示例都展示了一个任务步骤的图像和一个计划的文本片段，目的是判断视觉步骤是否在文本步骤之前或之后发生。ISO-BENCH包含来自烹饪、汽车维护、手工制作和木工等领域的多样化示例，旨在解决多模态模型在现实世界环境中的因果推理问题。

查看ISO-BENCH

Dataset card 内容： 

Files and versions 内容： 

关于 石溪大学 , 石溪大学是美国纽约州立大学系统中的一所公立研究型大学，位于纽约长岛。学校成立于1957年，以其卓越的科研和教学质量著称，尤其在物理学、计算机科学、医学等领域享有盛誉。石溪大学与布鲁克海文国家实验室有紧密的合作关系，吸引了众多国际学者和学生。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。