爱丁堡大学信息学院 发布 SciTrek 数据集, 应用在 问答系统、语言模型评估 领域

爱丁堡大学信息学院 本次发布的数据集 SciTrek, SciTrek 是一个基于科学文章的问答基准，旨在评估大型语言模型（LLMs）在处理长上下文文本时的推理能力。该数据集包含了 2,121 个问答对，覆盖了不同长度的上下文（64K、128K、512K 和 1M tokens）。SciTrek 通过将问题转化为 SQL 查询，并从由文章元数据（标题、作者和参考文献）构建的数据库中获取答案，从而自动生成问题和答案。数据集的创建过程只需要很少的人工干预，并且可以扩展到其他领域。SciTrek 主要用于评估 LCLMs 在信息整合、复杂推理和长期记忆方面的能力。

查看SciTrek

关于 爱丁堡大学信息学院 , 爱丁堡大学信息学院是爱丁堡大学下属的一个学院，专注于计算机科学、人工智能、认知科学等领域的研究和教学。该学院在全球信息学领域具有重要地位，培养了众多在学术界和工业界有影响力的专业人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。