蚂蚁集团 发布 MCPToolBench++ 数据集, 应用在 人工智能代理、多领域工具使用评估 领域

蚂蚁集团 本次发布的数据集 MCPToolBench++, MCPToolBench++是一个大规模、多领域的AI Agent工具使用基准数据集，包含1.5K个问答对，覆盖了6个领域的MCP服务器，包括搜索、地图、金融、支付、自动浏览器使用、文件系统等。数据集结合了单步和多步工具调用问题，评估LLM模型和代理系统的多样化和通用能力。该数据集采用流水线流程，从超过40个类别的市场中选择MCP工具，并清洗MCP配置和工具模式，保留高质量的MCP服务器和工具。此外，数据集还支持多语言，例如全球地图路线查找、全球金融市场金融数据查询等。

查看MCPToolBench++

Dataset card 内容： 

Files and versions 内容： 

关于 蚂蚁集团 , 蚂蚁集团是一家中国的科技公司，主要从事金融科技服务，旗下拥有支付宝等知名品牌。公司致力于通过技术创新推动普惠金融发展，业务涵盖支付、理财、信贷、保险等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。