微软研究院 发布 HH-RLHF 和 TL;DR 数据集, 应用在 偏好优化、自然语言处理 领域

微软研究院 本次发布的数据集 HH-RLHF 和 TL;DR, HH-RLHF和TL;DR是两个用于训练偏好优化技术的偏好数据集。HH-RLHF数据集是通过将人类反馈与LLM的标注相结合，经过精心策划的人类反馈来最大化对齐，而TL;DR数据集则用于总结、合规性和定位等下游任务。数据集的创建是通过粗略的LLM对未标注数据进行初始对齐，然后通过奖励模型和迭代的人类注释来改进对齐。这些数据集的应用领域在于提高大型语言模型与用户偏好的对齐度，减少人类注释的努力，并提高模型在下游任务上的性能。

查看HH-RLHF 和 TL;DR

关于 微软研究院 , 微软研究院是微软公司旗下的研究机构，成立于1991年，致力于推动计算机科学和相关领域的技术进步。该研究院在人工智能、云计算、数据科学等领域有重要研究成果，并与全球多所大学和研究机构合作。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。