FAIR at Meta 发布 CausalVQA 数据集, 应用在 视频问答、因果关系 领域

FAIR at Meta 本次发布的数据集 CausalVQA, CausalVQA是一个视频问答（VQA）基准数据集，由探索模型对物理世界中因果关系的理解的问答对组成。该数据集填补了现有VQA基准的空白，通过提出基于现实世界场景的挑战性问题，同时关注模型预测不同动作和事件的可能结果的能力。数据集包含五种问题类型：反事实、假设、预期、规划和描述。我们设计了质量控制机制，防止模型利用简单的捷径，要求模型基于对视频内容的深度视觉理解来回答问题。我们发现，当前前沿的多模态模型在基准测试中的表现远低于人类，特别是在预期和假设问题上。这突出了当前系统在利用空间-时间推理、理解物理原理以及理解可能的替代方案以在现实世界环境中做出准确预测方面的挑战。

查看CausalVQA

README 内容： 

关于 FAIR at Meta , Meta公平性、可解释性和稳健性实验室（FAIR at Meta）是Meta公司下属的一个研究团队，专注于人工智能领域中的公平性、可解释性和稳健性问题。该团队致力于推动AI技术的负责任和道德使用，通过研究促进AI系统的透明度和可靠性，旨在解决算法偏见和提升AI决策过程的可解释性。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。