电子科技大学 发布 Token-level Tool-use Preference Alignment Training Framework (TTPA) 数据集, 应用在 自然语言处理、机器学习 领域

电子科技大学 本次发布的数据集 Token-level Tool-use Preference Alignment Training Framework (TTPA), TTPA框架旨在解决现有工具学习方法的局限性，这些方法通常依赖监督微调，并忽视内部工具调用细节的细粒度优化，导致偏好对齐和错误区分的限制。TTPA首先引入反向数据集构建方法，通过反向生成流程创建高质量的多轮工具使用数据集。此外，我们提出了Token-level Preference Sampling (TPS)来通过建模生成过程中的token-level差异来捕获细粒度偏好。为了解决评分中的偏差，我们引入了Error-oriented Scoring Mechanism (ESM)，它量化工具调用错误并可用作训练信号。在三个不同的基准数据集上的广泛实验表明，TTPA在提高工具使用性能方面取得了显著成效，并在模型和数据集之间表现出强大的泛化能力。

查看Token-level Tool-use Preference Alignment Training Framework (TTPA)

关于 电子科技大学 , 电子科技大学是位于中国四川省成都市的一所教育部直属全国重点大学，是“985工程”、“211工程”重点建设高校之一，以电子信息类学科为特色，工、理、文、经、管、法、教育等多学科协调发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。