Scale AI 发布 ToolComp 数据集, 应用在 多工具推理、过程监督 领域

Scale AI 本次发布的数据集 ToolComp, ToolComp是由Scale AI开发的一个多工具推理和过程监督基准数据集，旨在评估语言模型在多步骤工具使用任务中的表现。该数据集包含485条经过人工验证的提示和最终答案，以及1731个详细的步骤监督标签，涵盖了从日期查询到金融助手等多种工具的使用场景。数据集的创建过程结合了模型生成和人工标注，确保了数据的准确性和复杂性。ToolComp的应用领域主要集中在复杂多步骤推理任务的评估和模型训练，旨在通过过程监督提升模型的推理能力，解决现有基准在评估工具使用能力时的不足。

查看ToolComp

关于 Scale AI , Scale AI 是一家专注于提供高质量数据标注和人工智能解决方案的公司，成立于2016年。该公司为自动驾驶、电子商务、机器人等多个领域的企业提供数据服务，帮助他们训练和改进机器学习模型。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。