复旦大学 发布 ToolHop 数据集, 应用在 语言模型评估、多跳工具使用 领域

复旦大学 本次发布的数据集 ToolHop, ToolHop是由复旦大学和字节跳动联合创建的数据集，旨在评估大语言模型在多跳工具使用中的表现。该数据集包含995个多跳查询和3912个本地可执行工具，覆盖了47个不同领域的查询，确保了数据的多样性和复杂性。数据集的构建过程包括工具创建、文档细化和代码生成，确保了工具之间的相互依赖性和本地可执行性。ToolHop的应用领域主要集中在评估LLMs在复杂多跳工具使用场景中的理解、推理和功能调用能力，旨在解决现有评估数据集在多样性和工具依赖性方面的不足。

查看ToolHop

Dataset card 内容： 

Files and versions 内容： 

关于 复旦大学 , 复旦大学是中国上海市的一所顶尖综合性研究型大学，创建于1905年，原名复旦公学。它是中国最著名的高等学府之一，以其在人文社会科学、自然科学、医学等领域的卓越研究和教育而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。