发布 LogiEval 数据集, 应用在 逻辑推理、模型评估 领域

本次发布的数据集 LogiEval, 该数据集名为LogiEval，它是一个全面评估大型推理模型逻辑推理能力的基础设施，涵盖了来自高质量人类考试的多种推理类型和任务格式。此外，LogiEval还包含了LogiEval-Hard这一具有挑战性的子集，这是通过一种新颖的筛选范式识别出来的，该范式突显了不同规模模型在基本推理能力上的瓶颈。该任务的目的是进行逻辑推理评估。

查看LogiEval

README 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。