西安交通大学人工智能研究院 发布 LONGREASONARENA 数据集, 应用在 自然语言处理、模型评估 领域

西安交通大学人工智能研究院 本次发布的数据集 LONGREASONARENA, LONGREASONARENA是一个专门设计用于评估大型语言模型（LLM）长推理能力的基准数据集。该数据集要求模型通过执行多步骤算法来解决问题，这些算法体现了长推理的关键方面，如检索和回溯。通过控制输入，所需的推理长度可以任意缩放，最具有挑战性的任务可以达到100万Tokens的推理长度。LONGREASONARENA对开源和专有LLM都提出了重大挑战，例如Deepseek-R1在任务上仅达到7.5%的准确率。该数据集通过控制输入来任意缩放所需的推理长度，并通过执行算法来评估模型性能，从而反映长推理的关键方面，如检索和回溯。

查看LONGREASONARENA

关于 西安交通大学人工智能研究院 , 西安交通大学人工智能研究院是西安交通大学下属的一个研究机构，专注于人工智能领域的研究与教育。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。