Adyen 发布 DABstep 数据集, 应用在 AI评估、数据分析 领域

Adyen 本次发布的数据集 DABstep, DABstep是一个用于评估AI代理在现实多步数据分析任务上的性能的新型基准。它包含超过450个来自金融分析平台的真实世界挑战，需要模型将基于代码的数据处理与对异构文档的上下文推理相结合。每个任务都需要迭代的多步问题解决方法，测试数据操作、跨引用多个源和精确结果报告的能力。该基准提供了一种事实性答案格式，并具有自动正确性检查，以实现大规模的客观评分。我们评估了领先的基于LLM的代理，揭示了一个巨大的性能差距：即使是最好的代理在最具挑战性的任务上也只能达到14.55%的准确率。我们详细介绍了我们基准的设计、数据集组成、任务制定、评估协议、报告基线结果和分析失败模式。DABstep发布了公共排行榜和工具包，以加速自主数据分析的研究。

查看DABstep

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。