耶鲁大学 发布 M3SCIQA 数据集, 应用在 科学问答、多模态数据 领域

耶鲁大学 本次发布的数据集 M3SCIQA, M3SCIQA是由耶鲁大学和Allen Institute for AI共同创建的多模态、多文档科学问答基准数据集，旨在全面评估基础模型在科学文献理解中的表现。该数据集包含1452个专家注释的问题，涵盖70个自然语言处理论文集群，每个集群包含一个主论文及其所有引用的文档。数据集的创建过程模拟了科学研究中的比较分析工作流程，要求模型在多个文档和多种数据格式（如图表）之间进行跨引用和推理。M3SCIQA主要应用于评估和提升基础模型在多模态科学文献分析中的能力，旨在解决当前模型在多文档和多模态信息处理中的不足。

查看M3SCIQA

README 内容： 

关于 耶鲁大学 , 耶鲁大学是一所位于美国康涅狄格州的著名私立研究型大学，以严格的学术标准和多元化的人文教育而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。