哥廷根大学 发布 SPaRC 数据集, 应用在 空间推理、人工智能模型评估 领域

哥廷根大学 本次发布的数据集 SPaRC, SPaRC数据集由哥廷根大学的研究团队创建，旨在评估模型在解决抽象、多步骤问题，特别是路径查找和复杂规则约束满足方面的空间和符号推理能力。数据集包含1000个2D网格路径查找谜题，要求使用算术和几何规则进行逐步规划。人类在解决这些谜题时表现出近乎完美的准确性（98.0%），而最佳推理模型（如o4-mini）在解决难题时准确率仅为1.1%。数据集揭示了模型在导航和空间逻辑方面的错误，并提出了改进模型空间推理能力的潜在方法。

查看SPaRC

Dataset card 内容： 

Files and versions 内容： 

关于 哥廷根大学 , 哥廷根大学是德国历史悠久的著名大学之一，位于下萨克森州的哥廷根市，成立于1734年。该校在数学、物理学、生命科学和人文社会科学等领域具有卓越的研究和教学水平。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。