中国科学院自动化研究所 发布 RAG-RewardBench 数据集, 应用在 检索增强生成、奖励模型 领域

中国科学院自动化研究所 本次发布的数据集 RAG-RewardBench, RAG-RewardBench是由中国科学院自动化研究所复杂系统认知与决策智能实验室创建的，用于评估检索增强生成（RAG）场景中奖励模型的基准数据集。该数据集包含1485个高质量的偏好对，涵盖了18个子集、6种检索器和24种RAG模型，旨在提高数据源的多样性。数据集的创建过程包括设计四个关键的RAG特定场景，并通过LLM-as-a-judge方法提高偏好标注的效率和有效性。RAG-RewardBench主要应用于检索增强语言模型的偏好对齐，旨在解决现有模型在偏好对齐方面的不足，推动模型向偏好对齐训练的转变。

查看RAG-RewardBench

Dataset card 内容： 

Files and versions 内容： 

关于 中国科学院自动化研究所 , 中国科学院自动化研究所是中国科学院下属的研究机构，主要从事自动化科学与技术的研究，涵盖了人工智能、模式识别、控制理论等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。