埃森哲 发布 MCP-Bench 数据集, 应用在 基准测试、工具使用 领域

埃森哲 本次发布的数据集 MCP-Bench, MCP-Bench是一个大规模的基准测试，用于评估LLM代理在现实世界中工具使用的场景。它连接代理到一个多样化的生态系统，其中包括28个服务器，提供250个结构化的工具，涵盖金融、科学和研究等领域。每个服务器提供互补的工具，设计用于协同工作，而MCP协议确保服务器之间的调用模式一致。这使得MCP-Bench能够同时实现服务器内的依赖链和跨服务器的复杂多跳工作流程。MCP-Bench的任务是通过基于LLM的合成自动生成的，依赖链首先从工具的I/O签名中发现，然后翻译成自然语言指令。MCP-Bench旨在解决现有基准测试在模拟现实世界工具使用场景时的不足，提供更全面、更具挑战性的评估平台。

查看MCP-Bench

关于 埃森哲 , 埃森哲是一家全球性的专业服务公司，提供包括战略、咨询、数字、技术和运营服务在内的广泛服务。其先进人工智能中心专注于利用人工智能技术推动业务创新和效率提升。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。