Facebook Research 发布 ZeroSumEval Games 数据集, 应用在 人工智能评估、游戏基准测试 领域

Facebook Research 本次发布的数据集 ZeroSumEval Games, 该数据集是一套多样化的游戏集合，旨在通过动态基准测试来评估大型语言模型（LLM）的能力，其中包括安全性挑战、经典游戏、知识测试和说服力挑战。该数据集还包括了模型在循环赛制中参与各种游戏的竞争，以评估它们的表现和能力。规模上，该数据集在7款游戏和13种模型上进行了超过7000次的模拟实验。任务是通过竞争性游戏玩法来评估人工智能的能力，如战略推理、规划、知识应用和创造力。

查看ZeroSumEval Games

README 内容： 

关于 Facebook Research , Facebook Research是Facebook公司的研发部门，专注于计算机科学和人工智能领域的研究，旨在推动科技进步和社会发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。