University of Waterloo 发布 BrowseComp-Plus 数据集, 应用在 信息检索、自然语言处理 领域

University of Waterloo 本次发布的数据集 BrowseComp-Plus, BrowseComp-Plus是一个由人类验证的文档集合，包括支持和挑战性的负面文档，旨在为深度研究代理提供一个公平和透明的评估基准。这个数据集扩展了原始的BrowseComp数据集，提供了固定的、精心策划的文档语料库，每个查询都包括经过人类验证的支持性文档和挖掘出的具有挑战性的负面文档。这个数据集允许研究人员独立评估检索和LLM组件，从而促进对每个组件对最终答案质量的影响的详细分析。此外，通过消除对动态网络API的依赖，BrowseComp-Plus显著降低了成本，提高了可重复性，并提高了基准测试的总体鲁棒性。

查看BrowseComp-Plus

关于 University of Waterloo , 滑铁卢大学是一所以研究为主的公立大学，位于加拿大安大略省滑铁卢，以工程、数学和计算机科学闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。