NVIDIA发布Nemotron-RL-Safety-v1数据集,应用在模型安全、强化学习领域

NVIDIA本次发布的数据集Nemotron-RL-Safety-v1,Nemotron-RL-Safety-v1 数据集旨在为训练奖励模型提供必要的标记比较，以区分安全、有帮助的响应和不受欢迎、不合规的输出。该数据集包含：1. 混合（开源和合成生成）的提示集合，旨在引发不同的模型漏洞；2. 安全偏好对：每个提示与一个被选中的响应和一个被拒绝的响应相关联，为奖励模型提供清晰的训练信号。被选中的响应是安全、有帮助且符合模型行为指南的，而被拒绝的响应则是不安全或不符合推荐响应策略的。数据集适用于商业用途，包含多个底层子集，涵盖内容安全风险、越狱攻击、过度拒绝、人口统计偏见和敏感内容泄露等方面。数据集采用 JSONL 格式，包含 44,941 个独特提示和 89,882 个偏好对，总磁盘大小约为 200MB。该数据集适用于强化学习通过人类反馈（RLHF）的模型对齐，以提高安全性和安全性。

查看Nemotron-RL-Safety-v1

关于NVIDIA,英伟达是一家专注于图形处理器开发的全球知名技术公司。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的开发与分享。它提供了丰富的资源，包括超过100万个模型、25万个数据集和40万个应用程序，支持文本、图像、视频、音频和3D等多种模态。此外，平台还提供企业级解决方案和开源工具，如Transformers、Diffusers等，以加速机器学习的研究和应用。