牛津大学发布LLM-WikiRace数据集,应用在语言模型评估、维基百科导航领域

牛津大学本次发布的数据集LLM-WikiRace,LLM-WikiRace是由牛津大学、伦敦大学学院等机构联合创建的基准测试数据集，旨在评估大型语言模型在维基百科超链接图谱上的规划与推理能力。该数据集基于2025年6月的维基百科快照构建，包含549,232个页面节点，精心设计了450个导航任务（200个简单、150个中等和100个困难级别）。数据通过计算页面间最短路径长度来定义难度等级，要求模型在仅观察当前页面的限制下进行多步规划。该数据集主要应用于评估语言模型的长程规划、语义推理和知识运用能力，揭示了当前模型在复杂信息空间导航中的局限性。

查看LLM-WikiRace

关于牛津大学,牛津大学是位于英国牛津的一所世界顶尖公立研究型大学，成立于1096年，是英语世界历史最悠久的大学。牛津大学在多个学科领域享有极高的学术声誉，尤其在人文、社会科学、物理科学和医学方面表现突出。

关于arXiv,arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。