中国科学技术大学 发布 PTBench 数据集, 应用在 个性化服务、自然语言处理 领域

中国科学技术大学 本次发布的数据集 PTBench, PTBench是第一个用于评估大型模型在个性化工具调用方面的能力的基准数据集。该数据集由1083个高质量的标注数据样本组成，旨在解决在工具调用中考虑用户个性化偏好的问题，包括工具偏好和基于用户资料的查询。数据集的构建过程包括三个主要阶段：工具生成、用户资料构建和查询与解决方案生成。通过使用高级大型语言模型（LLM）进行工具生成和用户行为模拟，PTBench提供了多样化的工具和用户资料，以训练和评估模型的个性化工具调用能力。

查看PTBench

README 内容： 

关于 中国科学技术大学 , 中国科学技术大学是中国著名的研究型大学之一，位于安徽省合肥市，以培养高水平科技人才和进行前沿科学研究为己任，是中国科学院直属的一所综合性研究型大学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。