five
五号数据雷达
产品上架
产权登记
知识产权
公共数据
首页 / 开源数据市场 / 正文

LAION eV发布nemotron-gym-safety安全数据集 为强化学习对齐与智能体评估提供标准化基准

五号数据雷达开源数据市场2026-05-17 04:028
全球知名AI数据集研发机构LAION eV于2026年5月16日在HuggingFace平台首发nemotron-gym-safety数据集,该数据集为NVIDIA NeMo-Gym生态下的强化学习安全专项资源,可支撑AI智能体安全验证、对齐训练等核心场景,填补了相关领域标准化训练与测试基准的供给空白。

随着大模型通用智能体技术快速落地,强化学习对齐难度高、智能体安全评估缺乏统一标准已成为AI产业合规发展的核心痛点。作为全球领先的非盈利AI数据集研发机构,LAION eV长期致力于开放高质量AI训练与测试资源,此前推出的LAION-5B多模态数据集曾成为Stable Diffusion等生成式AI模型的核心训练数据源,在全球AI开源生态中拥有广泛影响力。

本次LAION eV发布的nemotron-gym-safety数据集,是NVIDIA官方Nemotron-RL-Safety-v1的Harbor格式转换版本,属于NVIDIA NeMo-Gym集合的重要组成部分,专为强化学习安全验证场景设计,可覆盖强化学习安全对齐、智能体安全评估两大核心应用方向。

该数据集结构完全遵循Harbor标准规范,每条数据包含两个核心字段:一是path字段,为格式为<family>-<sha256[:12]>.tar.gz的确定性短ID,可实现数据集条目快速检索与溯源;二是task_binary字段,为包含完整Harbor任务的gzip压缩tar文件,内置标准化任务全链路资源:其中instruction.md为展示给智能体的任务提示,明确任务执行目标;environment/Dockerfile基于python:3.11-slim-bookworm镜像构建并预装任务特定依赖,保障运行环境一致性;tests目录下的test.sh、verifier.py、verifier_data.json构成完整的验证逻辑,可自动判断智能体任务执行结果的安全性与合规性;metadata.json记录源数据集、行索引、家族等溯源信息,满足科研与产业应用的可追溯要求;task.toml为标准Harbor任务配置,预设CPU、内存、超时等运行参数,降低使用门槛。

为保障数据集本身的安全性与测试结果的可复现性,本次转换过程严格遵循安全构建原则:数据集内容不会直接插入到shell、Python或Dockerfile源代码中,所有参数通过tests/verifier_data.json在运行时解析,从根源避免注入攻击风险;基础镜像名称固定,文本字段提前去除控制字符,tarball路径经过遍历、NUL、绝对路径攻击验证,全面消除潜在安全隐患;同时tarball采用确定性构建规则,统一排序条目、设置mtime=0、uid/gid=0,确保不同机构、不同时间运行同一任务的结果完全一致,满足基准测试的可复现要求。目前数据集验证器家族为llm_judge,基于LiteLLM和默认的openai/gpt-4o-mini模型,按照统一原则性评分标准输出评估结果,避免人工评估的主观偏差。

从应用价值来看,nemotron-gym-safety数据集可广泛应用于多个AI安全核心场景:在强化学习安全对齐训练环节,可作为训练数据源帮助大模型与智能体学习安全合规的任务执行逻辑,降低对齐偏差;在智能体产品研发环节,可作为标准化安全测试基准,为不同厂商的智能体产品提供横向对比的统一标尺;在AI安全科研领域,可支撑安全强化学习算法、对齐算法的迭代验证,降低科研数据获取门槛;在金融、政务、工业等高合规要求场景,可作为智能体落地前的前置安全测试资源,帮助企业排查潜在安全风险,降低落地合规成本。该数据集的推出也进一步丰富了全球AI安全领域的公共数据要素供给,对推动AI技术合规落地、完善数据要素在AI产业的价值流通体系具有积极意义。

查看nemotron-gym-safety

Dataset card内容:

Files and versions内容:

数据合作广告位

社区讨论

近期热门
二维码
社区交流群

面向社区/商业的数据集话题

二维码
科研交流群

面向高校/科研机构的开源数据集话题

二维码
关注我们