北京大学 发布 BrowseComp-ZH 数据集, 应用在 自然语言处理、中文信息检索 领域

北京大学 本次发布的数据集 BrowseComp-ZH, BrowseComp-ZH 是一个针对中文网络环境设计的高难度基准数据集，旨在全面评估大型语言模型（LLM）的推理和信息检索能力。数据集包含 289 个多跳问题，涵盖 11 个不同领域，每个问题都有独特的答案，并经过两阶段质量控制流程确保问题的难度和答案的唯一性。BrowseComp-ZH 数据集的创建是为了弥补现有基准在中文网络环境中的不足，它要求模型能够进行多跳检索、事实推理和整合在线信息。数据集的发布为研究和评估中文 LLM 的网络浏览能力提供了重要工具。

查看BrowseComp-ZH

README 内容： 

关于 北京大学 , 北京大学是中国著名的高等教育机构，主要负责培养高等学历人才，致力于促进科技文化的发展。学校提供多层次的学历教育，包括医学、教育学、哲学、经济学、法学、文学、历史学、理学、工学、管理学等各类学科的专科、本科、硕士和博士研究生学历教育，同时还进行博士后培养。在数据资源方面，北京大学拥有丰富多样的数据集，这些数据集涵盖了各个学科的广泛领域，虽然具体数据集特点各异，但都体现了北大学术研究的深度和广度。通过这些数据集，可以一窥北大在科研和教育方面的实力与成果。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。