纽约大学 发布 PUZZLEPLEX 数据集, 应用在 人工智能评估、游戏策略 领域

纽约大学 本次发布的数据集 PUZZLEPLEX, PUZZLEPLEX是一个用于评估基础模型推理和规划能力的基准，包含15种不同类型的谜题，涵盖确定性和随机性游戏，以及单人游戏和双人游戏场景。PUZZLEPLEX框架为每种游戏提供了一个全面的环境，并支持可扩展性，以生成更多具有挑战性的实例。此外，我们还实现了定制的游戏策略进行比较。基于此基准，我们开发了细粒度的指标来衡量性能，并对前沿基础模型在两种设置下的性能进行了深入分析：基于指令的设置和基于代码的设置。我们的研究结果表明，在基于指令的设置中，推理模型优于其他模型，而基于代码的执行虽然更具挑战性，但提供了一个可扩展且高效的替代方案。

查看PUZZLEPLEX

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。