NVIDIA发布Nemotron-RLHF-GenRM-v1数据集,应用在强化学习、生成式奖励模型领域

NVIDIA本次发布的数据集Nemotron-RLHF-GenRM-v1,该数据集专为训练生成式奖励模型（GenRMs）而设计，旨在通过大规模强化学习训练出比传统Bradley-Terry模型更准确、更稳健且泛化能力更强的GenRMs，同时减少奖励黑客的风险。数据集包含偏好数据和合成安全混合数据，采用“元提示”结构，每个样本包括系统/用户提示、对话上下文、待评分响应、评估计划和输出格式。数据集适用于商业用途，采用ODC Attribution License许可。数据集由NVIDIA Corporation创建和拥有，总存储量约5GB，包含299,517个训练样本。数据集适用于训练GenRMs以推理响应质量并提供细粒度反馈，以及改进模型泛化能力和减少奖励黑客行为。

查看Nemotron-RLHF-GenRM-v1

关于NVIDIA,英伟达是一家专注于图形处理器开发的全球知名技术公司。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的开发与分享。它提供了丰富的资源，包括超过100万个模型、25万个数据集和40万个应用程序，支持文本、图像、视频、音频和3D等多种模态。此外，平台还提供企业级解决方案和开源工具，如Transformers、Diffusers等，以加速机器学习的研究和应用。