韩国大学 发布 NeedleChain 数据集, 应用在 自然语言处理、语言模型评估 领域

韩国大学 本次发布的数据集 NeedleChain, NeedleChain是一个用于评估大型语言模型（LLMs）在处理长上下文理解能力的数据集。数据集由多个包含相关信息的句子组成，每个句子都是理解上下文所必需的。该数据集由韩国大学创建，旨在解决现有评估方法可能高估LLMs真实长上下文理解能力的问题。数据集包含三种推理顺序变体：正向链、反向链和混合链，以及一个基于相同基准组件的NIAH数据集，称为NeedleStack。

查看NeedleChain

README 内容： 

关于 韩国大学 , 韩国大学是韩国首尔的一所著名私立研究型大学，成立于1905年。该校在多个学科领域享有盛誉，尤其在法学、商学和国际关系等领域具有重要影响力。韩国大学致力于培养具有全球视野和创新能力的人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。