富士通欧洲研究院 发布 MAPS 数据集, 应用在 多语言处理、人工智能性能评估 领域

富士通欧洲研究院 本次发布的数据集 MAPS, MAPS是一个多语言基准测试套件，旨在评估在多种语言和任务中的智能体AI系统。该套件基于四个广泛使用的智能体基准：GAIA（现实世界任务）、SWE-bench（代码生成）、MATH（数学推理）和Agent Security Benchmark（安全性）。每个数据集被翻译成十种不同的语言，共包含805个独特的任务和8855个语言特定实例。MAPS基准套件使得对多语言环境如何影响智能体性能和鲁棒性进行系统分析成为可能。实验表明，从英语过渡到其他语言时，性能和安全性均出现明显下降，其严重程度因任务和翻译输入量而异。基于这些发现，本研究提供了具体的建议，以指导在多语言环境下智能体AI系统的发展和评估。MAPS基准套件公开可用。

查看MAPS

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。