FAIR at Meta 发布 Decrypto Benchmark 数据集, 应用在 自然语言处理、人工智能推理 领域

FAIR at Meta 本次发布的数据集 Decrypto Benchmark, Decrypto是一个基于语言游戏的多人推理和心智理论（ToM）基准，由FAIR at Meta和牛津大学的研究人员开发。该数据集基于Scorpion Masqué公司发布的同名桌面游戏，旨在通过多人互动游戏来评估大型语言模型在推理和ToM方面的能力。数据集包含680个可能的关键词，超过8.8亿种可能的组合，以及无限数量的游戏可能性，因为提示的选择是开放式的，可以依赖于任何公开可用的信息。该数据集可用于评估LLM在竞争和合作场景下的推理能力，以及在进行战略决策前对他人可获得的信息进行推理的能力。

查看Decrypto Benchmark

关于 FAIR at Meta , FAIR at Meta 是 Meta（前Facebook）下属的人工智能研究机构，专注于推动人工智能的发展和应用，包括机器学习、计算机视觉、自然语言处理等领域的研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。