GAOKAO-Bench 发布 Gaokao-Bench 数据集, 应用在 教育评估、自然语言处理 领域

GAOKAO-Bench 本次发布的数据集 Gaokao-Bench, 该数据集包含了2010年至2022年中国高考的多项选择题，旨在评估大型语言模型的语言理解和符号推理能力。为了增强数据集对同义转述、符号重写和结构变化的鲁棒性，对数据集进行了增强处理，重点关注真实推理而非记忆中的语法。经过增强后，该数据集总共有1,296个问题实例，其任务是进行数学推理和语言理解评估。

查看Gaokao-Bench

Dataset card 内容： 

Files and versions 内容： 

关于 GAOKAO-Bench , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。