Salesforce AI Research 发布 MCP-Universe 数据集, 应用在 自然语言处理、人工智能评估 领域

Salesforce AI Research 本次发布的数据集 MCP-Universe, MCP-Universe是一个全面评估大型语言模型（LLMs）在现实世界任务中性能的基准数据集。该数据集由Salesforce AI Research创建，旨在评估LLMs与外部数据源和工具的交互能力。数据集包含11个MCP服务器，涵盖了6个核心领域，包括位置导航、仓库管理、财务分析、3D设计、浏览器自动化和网络搜索。MCP-Universe数据集包含231个任务，旨在评估LLMs在处理真实世界数据、导航复杂信息、管理版本控制流程和执行实时票价分析等场景下的能力。数据集的创建过程包括执行基于评估的评估器，包括格式评估器、静态评估器和动态评估器，以确保严格的评估。MCP-Universe数据集的应用领域是评估LLMs与外部数据源和工具的交互能力，旨在解决LLMs在实际应用中的性能限制问题。

查看MCP-Universe

README 内容： 

关于 Salesforce AI Research , Salesforce AI Research是Salesforce公司下属的人工智能研究部门，致力于推动机器学习和深度学习领域的科学研究，并将这些研究成果应用于Salesforce的产品中，以提升客户服务和企业自动化水平。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。