高瓴人工智能学院 发布 DomainRAG 数据集, 应用在 领域特定检索、生成模型评估 领域

高瓴人工智能学院 本次发布的数据集 DomainRAG, DomainRAG是一个专为评估领域特定检索增强生成模型而设计的中文基准数据集，由中国人民大学高瓴人工智能学院创建。该数据集包含七个子数据集，分别针对对话式QA、结构化QA、忠实QA、时间敏感QA、噪声QA和多文档QA等能力进行评估。数据来源于中国某大学的招生系统网站，经官方授权采集。创建过程中，数据集通过ChatGPT等生成模型生成，并经过人工校正。该数据集旨在解决大型语言模型在特定领域应用中知识覆盖不全、实时更新困难等问题，特别是在需要专业知识的场景中。

查看DomainRAG

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。