香港理工大学 发布 VAR-MATH, VAR-AMC23, VAR-AIME24 数据集, 应用在 数学推理、模型评估 领域

香港理工大学 本次发布的数据集 VAR-MATH, VAR-AMC23, VAR-AIME24, VAR-MATH是一个符号化评估框架，旨在探索大型语言模型的真实推理能力。通过将固定数值问题转换为符号模板，并要求模型解决每个模板的多个实例，VAR-MATH强制执行结构等效变体之间的一致推理，从而减少数据泄露并提高评估鲁棒性。该框架应用于AMC23和AIME24两个流行基准，生成其符号化版本VAR-AMC23和VAR-AIME24。实验结果表明，RL训练模型在变体版本上的性能大幅下降，这表明现有RL方法依赖于表面的启发式方法，无法超越特定的数值形式。

查看VAR-MATH, VAR-AMC23, VAR-AIME24

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。