新泽西理工学院 发布 FAULTYMATH 数据集, 应用在 数学问题、逻辑推理 领域

新泽西理工学院 本次发布的数据集 FAULTYMATH, FAULTYMATH数据集由新泽西理工学院的研究团队创建，包含363个逻辑错误的数学问题，涵盖代数、几何、数论等多个数学类别。数据集通过GPT-4生成并经过人工验证，旨在评估LLMs在识别和处理逻辑错误问题时的能力。数据集的创建过程包括从MATH数据集中提取有效问题，使用GPT-4将其转化为错误问题，并通过GPT-4自我验证和人工验证筛选出真正错误的问题。FAULTYMATH数据集主要用于测试LLMs在数学问题解决中的逻辑推理能力，旨在解决当前LLMs在处理逻辑错误问题时的不足。

查看FAULTYMATH

关于 新泽西理工学院 , 新泽西理工学院（New Jersey Institute of Technology, NJIT）是一所位于美国新泽西州纽瓦克市的公立研究型大学，成立于1881年。该校以工程、科学、建筑和信息技术等领域的教育和研究著称，是美国东海岸重要的技术教育中心之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。