GEB Tech 发布 Auto-SLURP 数据集, 应用在 多智能体系统、自然语言处理 领域

GEB Tech 本次发布的数据集 Auto-SLURP, Auto-SLURP是一个用于评估基于大型语言模型（LLMs）的多智能体框架的数据集，旨在测试智能个人助手的性能。该数据集基于原始的SLURP数据集，通过重新标记数据并整合模拟服务器和外部服务进行了扩展。它涵盖了语言理解、任务执行和响应生成等方面的评估，并且包含了一系列任务领域，如日历管理、媒体播放、交通调度和信息检索等。Auto-SLURP旨在解决当前缺乏专门用于评估多智能体框架性能的基准数据集的问题，为研究者提供了全面和灵活的评估平台。

查看Auto-SLURP

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。