Salesforce AI Research 发布 SPECTOOL 数据集, 应用在 大型语言模型、错误分析 领域

Salesforce AI Research 本次发布的数据集 SPECTOOL, SPECTOOL数据集由Salesforce AI Research创建，旨在评估大型语言模型（LLMs）在工具使用任务中的错误模式。该数据集包含150个查询，涵盖10个不同的环境类别和30多个任务，如娱乐、体育和天气任务。数据集通过一系列复杂的查询生成步骤创建，包括基于约束、句子变换和相关数据增强的方法。SPECTOOL数据集的应用领域主要集中在识别和分析LLMs在工具使用任务中的常见错误，以帮助改进模型的性能和准确性。

查看SPECTOOL

关于 Salesforce AI Research , Salesforce AI Research是Salesforce公司旗下的一个研究部门，专注于人工智能和机器学习领域的研究与开发。该部门致力于推动AI技术的创新，并将其应用于Salesforce的产品和服务中，以提升客户体验和业务效率。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。