埃因霍温科技大学 发布 PillagerBench 数据集, 应用在 游戏智能体、AI性能评估 领域

埃因霍温科技大学 本次发布的数据集 PillagerBench, PillagerBench是一个为评估基于大型语言模型（LLM）的智能体在Minecraft中实时竞争团队对抗场景中的性能而设计的框架。该框架提供了可扩展的API、多轮测试和基于规则的内置对手，以实现公平和可重复的比较。PillagerBench包含两个竞争性游戏场景：蘑菇战争和Dash&Dine，每个场景评估LLMs的不同能力。蘑菇战争要求智能体在时间限制下有效地分配任务和执行行动；Dash&Dine挑战智能体在动态环境中计划、适应对手策略和管理复杂的因果关系。PillagerBench旨在促进多智能体AI在竞争环境中的发展，通过开源框架，推动多智能体系统在竞争性团队对抗环境中的研究。

查看PillagerBench

README 内容： 

关于 埃因霍温科技大学 , -_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。