Patronus AI 发布 TRAIL 数据集, 应用在 多智能体系统、性能评估与调试 领域

Patronus AI 本次发布的数据集 TRAIL, TRAIL数据集是Patronus AI创建的一个大型人工标注的执行跟踪数据集，包含148条精心策划的跟踪记录，总计1987个开放遥测跨度，其中575个至少包含一个错误。数据集来源于GAIA和SWE-Bench数据集，覆盖了广泛的任务类型。该数据集旨在解决多智能体系统在现实世界应用中的性能评估和调试问题，并提供了对智能体行为进行调试和根本原因分析的详细分类法。数据集的使用将有助于推动未来在可扩展的智能体工作流程评估研究。

查看TRAIL

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。