浙江大学 发布 Video-MMLU 数据集, 应用在 多学科讲座理解、模型评估 领域

浙江大学 本次发布的数据集 Video-MMLU, Video-MMLU是一个大规模的多学科讲座理解基准数据集，由浙江大学、华盛顿大学、伊利诺伊大学厄巴纳-香槟分校和Lambda, Inc.共同构建。该数据集包含数学、物理和化学三个学科领域的1065段讲座视频，旨在评估大型多模态模型在理解多学科讲座方面的能力。视频内容涵盖定理演示和问题解决，不仅需要模型具备强大的视觉感知能力，还需具备特定领域的推理能力。数据集通过多阶段注释流程构建，包含详细的视频字幕和15个推理性问题，以评估模型在感知和推理方面的表现。

查看Video-MMLU

关于 浙江大学 , 浙江大学是中国的一所综合性全国重点大学，位于浙江省杭州市，是中国著名的高等学府之一，有着较高的学术声誉和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。