上海人工智能实验室 发布 Ada-LEval 数据集, 应用在 自然语言处理、模型评估 领域

上海人工智能实验室 本次发布的数据集 Ada-LEval, Ada-LEval是一个用于评估大型语言模型（LLMs）长上下文理解能力的长度可调节基准。该数据集包含两个挑战性子集：TSort和BestAnswer，能够更可靠地评估LLMs的长上下文能力。这些基准支持对测试案例长度的精细调整，并能轻松生成高达128k令牌的文本样本。Ada-LEval旨在解决现有长文本评估基准的局限性，特别是在超长上下文设置（100k+令牌）方面的不足，通过提供可控的测试案例和全面的文本理解需求，推动了对LLMs在处理长文本方面的能力和限制的深入理解。

查看Ada-LEval

README 内容： 

关于 上海人工智能实验室 , 上海人工智能实验室是一家专注于人工智能技术研究和应用的科研机构，致力于推动人工智能领域的前沿技术发展与实际应用。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。