北京大学 发布 R3-VQA 数据集, 应用在 视觉语言理解、社交推理 领域

北京大学 本次发布的数据集 R3-VQA, R3-VQA是一个视频问答数据集，由北京大学、西安交通大学等机构的研究者共同创建。数据集包含复杂的社交场景，并对社交事件和心智状态（如信念、意图、欲望、情绪）及其相应的社交因果链进行了精确和细粒度的标注。此外，数据集还包括人工标注和模型生成的问答对。R3-VQA任务包括社交事件理解、心智状态估计和社会因果推理三个方面。该数据集旨在评估当前最先进的视觉语言模型在复杂社交场景中的社交推理能力和一致性，并展示LVLMs在社交推理任务上的局限性以及心智理论提示对LVLMs性能的提升。

查看R3-VQA

关于 北京大学 , 北京大学，简称北大，是中国一所著名的综合性研究型大学，位于北京，是中国最高学府之一，拥有悠久的历史和卓越的学术传统。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。