密歇根大学 发布 MDBench 数据集, 应用在 自然语言处理、多文档推理 领域

密歇根大学 本次发布的数据集 MDBench, MDBench是一个用于评估大型语言模型在多文档推理任务上的性能的合成数据集。该数据集由密歇根大学计算机科学与工程系和思科研究院合作创建，包含1000个多文档问答示例，其中300个由人工验证，700个通过自动验证。数据集采用了一种创新的合成生成过程，通过在LLM辅助下修改结构化知识来生成具有挑战性的文档集和相应的问答示例。MDBench旨在解决当前多文档推理基准缺乏、难以创建的问题，并为未来的模型评估提供了一种可扩展的解决方案。

查看MDBench

Dataset card 内容： 

Files and versions 内容： 

关于 密歇根大学 , 密歇根大学是美国一所有着悠久历史和深厚学术积累的研究型大学，其计算机科学与工程系在全球享有很高的声誉，是计算机科学领域的重要研究和教学机构。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。