清华大学 发布 Reasoning Bench (R-Bench) 数据集, 应用在 自然语言处理、多模态推理 领域

清华大学 本次发布的数据集 Reasoning Bench (R-Bench), R-Bench是一个用于评估语言和多媒体模型推理能力的高水平、多学科、英汉双语的基准数据集。它包含1094个语言模型评价问题和665个多模态模型测试问题，涵盖108个学科。这些问题经过精心挑选，确保难度校准、学科平衡和跨语言对齐，使其成为一项奥林匹克级的多学科基准。该数据集旨在解决现有推理基准在评估复杂推理能力方面的不足，特别是在多学科和多模态情境下。数据集的创建过程包括数据收集、筛选和改进等多个步骤，并通过专家筛选、模型筛选和人工审查进行三次筛选，确保问题的质量。此外，R-Bench还具有多语言特性，通过手动构建选项和翻译，使其能够评估模型在不同语言下的推理能力。

查看Reasoning Bench (R-Bench)

关于 清华大学 , 清华大学是位于中国北京市的一所综合性研究型大学，是中国最著名的高等学府之一，以其在工程、计算机科学、材料科学等领域的卓越研究和学术成就闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。