美国超威半导体公司 发布 TTT-Bench 数据集, 应用在 人工智能推理、游戏评估 领域

美国超威半导体公司 本次发布的数据集 TTT-Bench, TTT-Bench是一个用于评估大型推理模型（LRMs）在基本战略、空间和逻辑推理能力方面的新基准，它通过一系列四个人工设计的两人制井字游戏来测试这些能力。这些游戏虽然对人类来说很简单，但需要推理对手的意图以及游戏板的空间配置。数据集包含了四种游戏类型：普通井字游戏（oTTT）、双重井字游戏（dTTT）、立方体井字游戏（cTTT）和正方形井字游戏（sTTT）。每个游戏都有其独特的胜利条件和游戏状态。数据集包含约100个样本，每个游戏类型都有可验证的答案。TTT-Bench旨在评估LRMs在解决需要基本战略、空间和逻辑推理的简单任务方面的能力，以解决当前LRMs在数学以外的推理能力评估不足的问题。

查看TTT-Bench

关于 美国超威半导体公司 , 美国超威半导体公司（Advanced Micro Devices, Inc.），简称AMD，是一家美国跨国半导体公司，主要专注于微处理器和图形处理器的研发与销售，是全球最大的半导体公司之一，与英特尔公司等在处理器市场有着激烈的竞争。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。