CUHK-ARISE 发布 GAMA(γ)-Bench 数据集, 应用在 多代理博弈、语言模型评估 领域

CUHK-ARISE 本次发布的数据集 GAMA(γ)-Bench, 该数据集是一个评估大型语言模型在多代理环境中的游戏能力的框架，涵盖了八个经典博弈论场景，并采用了一个动态评分方案。该数据集允许灵活的游戏设置，并根据不同的游戏参数调整评分系统。其规模包括来自六个模型家族的十二个大型语言模型的评估。该任务旨在评估大型语言模型在多代理游戏场景中的决策能力。

查看GAMA(γ)-Bench

README 内容： 

关于 CUHK-ARISE , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。