德国波茨坦大学 发布 clembench2024 数据集, 应用在 语言模型评估、多语言处理 领域

德国波茨坦大学 本次发布的数据集 clembench2024, clembench2024是由德国波茨坦大学语言学系计算语言学部创建的多语言基准测试数据集，旨在评估大型语言模型（LLMs）作为多动作代理的能力。该数据集包含53个模型，通过动态和挑战性的对话游戏来测试模型的指令遵循、战略目标导向和语言理解能力。数据集的创建过程涉及使用模板和解析规则来定义游戏，并通过程序化的GameMaster实现游戏玩法。clembench2024的应用领域包括模型选择决策、交互系统的详细研究以及作为闭环开发环境的一部分，用于设计和改进代理。

查看clembench2024

关于 德国波茨坦大学 , 德国波茨坦大学是位于德国波茨坦的一所公立研究型大学，成立于1991年，提供广泛的学科和研究领域，包括自然科学、人文科学和社会科学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。