SES AI 发布 ArrangementPuzzle 数据集, 应用在 逻辑谜题、人工智能 领域

SES AI 本次发布的数据集 ArrangementPuzzle, ArrangementPuzzle是一个由SES AI创建的定制化逻辑谜题数据集，适用于分析LLM内部推理表示。数据集包含独特的线索和解决方案，保证每个谜题有唯一解，不含冗余线索。数据集通过随机化名称、颜色和解决方案来保证多样性。研究通过此数据集训练分类器，以区分正确的推理步骤和错误的推理步骤，发现LLM在中间至后期的Transformer层中具有最强的推理正确性表示。

查看ArrangementPuzzle

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。