约翰霍普金斯大学发布CoverageBench数据集,应用在信息检索、检索增强生成领域

约翰霍普金斯大学本次发布的数据集CoverageBench,CoverageBench是由约翰霍普金斯大学等机构构建的综合性评估基准，旨在衡量检索算法在跨任务和跨领域场景中的信息覆盖能力。该数据集整合了7个来自TREC等权威评测任务的子集，包含334个主题查询及对应的相关性标注、信息单元（nuggets）标注和公开文档集合。数据通过人工标注与LLM辅助标注相结合的方式构建，特别针对检索增强生成（RAG）系统需求，设计了信息单元覆盖率的评估框架，适用于信息检索多样性、摘要生成等研究方向。

查看CoverageBench

关于约翰霍普金斯大学,约翰霍普金斯大学是一所位于美国马里兰州巴尔的摩的私立研究型大学，成立于1876年，以医学、公共卫生、国际关系等领域的卓越研究和教育闻名。

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。