斯坦福大学 发布 SATBench 数据集, 应用在 逻辑推理、大型语言模型 领域

斯坦福大学 本次发布的数据集 SATBench, SATBench是一个用于评估大型语言模型（LLMs）逻辑推理能力的基准数据集，它通过从布尔可满足性（SAT）问题中派生的逻辑谜题来实现。数据集包含2100个逻辑谜题，每个谜题都从SAT公式生成，然后使用LLMs翻译成故事背景和条件。数据集的生成过程是完全自动化的，并且可以通过改变CNF公式中的子句数量来调整难度。所有谜题都通过LLM辅助和基于求解器的验证来确保质量，其中一部分还进行了人工验证。SATBench揭示了当前LLMs在基于搜索的逻辑推理能力方面的基本局限性，并为未来逻辑推理研究提供了一个可扩展的测试平台。

查看SATBench

关于 斯坦福大学 , 斯坦福大学是一所位于美国加州的世界顶尖私立研究型大学，以其在科技、工程、商业和法律等领域的卓越教学和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。