Case Western Reserve University 发布 LongBench 数据集, 应用在 自然语言处理、模型评估 领域

Case Western Reserve University 本次发布的数据集 LongBench, LongBench数据集由Case Western Reserve University、Texas A&M University、Rice University和Meta共同创建，旨在解决现有长上下文评估基准的两个主要问题：缺乏区分长上下文性能与模型基线能力的适当指标，以及数据样本具有固定的序列长度，限制了其适用性。LongBench是一个长度可控的长上下文基准，包含丰富的真实和合成任务，并引入了一种新的评估指标LongScore，可以有效地分离基线知识与长上下文能力，从而更准确地评估LLMs的真实能力。该数据集适用于长上下文能力评估，旨在解决模型处理和理解长上下文的实际能力问题。

查看LongBench

关于 Case Western Reserve University , Case Western Reserve University 是一所位于美国俄亥俄州克利夫兰的私立研究型大学，成立于1826年，是美国历史最悠久的私人研究型大学之一。该校以其医学、工程、商业和法律专业闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。