南京大学 本次发布的数据集 mmRAG, mmRAG是一个模块化的基准数据集,旨在评估多模态检索增强生成(RAG)系统。该数据集集成了来自六个不同问答数据集的查询,涵盖了文本、表格和知识图谱。数据集包含5124548条数据,包括5,124个查询、3.2百万个文档块和88,751个已标注的查询-块对。mmRAG的构建过程包括数据集收集、数据加工和数据标注三个阶段。数据集的标注采用标准的信息检索协议,提供了充分的标注信息来评估检索和查询路由的准确性。该数据集可用于评估RAG系统的查询路由、检索和生成等主要组件,为多模态RAG系统的模块化评估提供了一个独特的测试平台。
关于 南京大学 , 南京大学是中国的一所著名综合性大学,以其在文、理、工、医等多个学科领域的深厚学术底蕴和卓越研究成果而闻名。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。





_1769672084863.jpg)