台湾大学 发布 MovieCORE 数据集, 应用在 视频问答、电影内容理解 领域

台湾大学 本次发布的数据集 MovieCORE, MovieCORE是一个视频问答(VQA)数据集，旨在探索电影内容的更深层次理解。与现有的主要关注表面理解的数据集不同，MovieCORE强调的问题能够激发系统2思考，同时保持与视频内容的紧密关联。我们提出了一个创新的代理式头脑风暴方法，利用多个大型语言模型(LLMs)作为思考代理来生成和改进高质量的问答对。为了评估数据集的质量，我们开发了一套认知测试，以评估深度、思考激发潜力和句法复杂性。我们还提出了一套全面的评估方案，以评估VQA模型在更深入的认知任务上的性能。为了解决现有视频语言模型(VLMs)的局限性，我们引入了一个代理增强模块，代理选择增强(ACE)，该模块通过25%的改进，提高了模型推理能力。我们的工作有助于推进AI系统中对电影的理解，并为我们提供了当前VQA模型在面对更具挑战性的电影内容时能力和局限性的宝贵见解。

查看MovieCORE

关于 台湾大学 , 台湾大学，简称台大，是位于中国台湾省台北市的一所综合性研究型大学，为台湾地区最顶尖的大学之一，具有较高的学术声誉。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。