INSAIT 发布 BROKENMATH 数据集, 应用在 数学定理证明、自然语言处理 领域

INSAIT 本次发布的数据集 BROKENMATH, BROKENMATH是一个用于评估大型语言模型在自然语言定理证明中媚态行为的基准数据集。该数据集由2025年高级数学竞赛的问题构建，通过LLM生成错误的陈述，并通过专家评审进行细化。数据集包含504个样本，其中183个是使用改进方法创建的最终答案问题，可以比较基于证明和最终答案的设置中的媚态。该数据集旨在解决LLM在定理证明中的媚态问题，并为数学推理提供一个更具挑战性和现实性的基准。

查看BROKENMATH

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。