Mihir3009 发布 GridPuzzle 数据集, 应用在 自然语言处理、推理评估 领域

Mihir3009 本次发布的数据集 GridPuzzle, 该数据集是一个评估集，包含274个基于网格的谜题，这些谜题具有不同的复杂度，旨在评估大型语言模型（LLMs）的推理能力。该数据集涵盖了多种网格大小（3x4、3x5、4x4、4x5和4x6），并设置了不同的难度级别，旨在深入了解大型语言模型在解决网格谜题时可能出现的推理错误。规模上，该数据集共有274个基于网格的谜题，其任务是对解决网格谜题时的推理链进行评估。

查看GridPuzzle

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。