近年来，随着大模型驱动的AI智能体应用快速落地，强化学习（RL）作为提升智能体决策能力、问答准确性的核心技术路径，长期面临训练环境非标准化、评测结果不可复现、数据集安全风险突出等行业痛点，开源高质量的标准化RL训练数据集已成为AI产业基础设施建设的核心需求之一。作为全球知名的开源AI数据集建设机构，LAION eV此前曾推出支撑Stable Diffusion等生成式AI产品研发的LAION-5B等标杆级数据集，此次上线的全新数据集正是针对上述行业痛点推出的定向解决方案。
LAION eV本次发布的数据集nemotron-gym-knowledge-openqa，该数据集是 nvidia/Nemotron-RL-knowledge-openqa 数据集的 Harbor 格式转换版本，而Harbor作为当前AI任务标准化打包的通用规范，可大幅降低不同研发团队、不同算力平台之间的任务适配成本，实现训练、评测流程的跨环境一致，因此该数据集天然适配强化学习环境的快速部署需求。数据集的核心内容是知识开放问答任务，每个数据样本代表一个完整的、可执行的强化学习环境任务包。数据以表格形式组织，每行包含两个关键字段：`path`（一个确定性的短标识符字符串，用于样本的快速检索与溯源）和 `task_binary`（一个经过 gzip 压缩的 tar 归档文件二进制数据）。该 tar 包内部遵循标准的 Harbor 任务布局，包含以下文件：`instruction.md`（展示给智能体的提示文本，保证任务输入的统一性）、`environment/Dockerfile`（基于特定 Python 版本的基础环境及任务依赖，彻底解决“本地可运行、平台报错”的环境不一致问题）、`tests/test.sh`（验证器入口脚本）、`tests/verifier.py`（确定性的验证器实现代码）、`tests/verifier_data.json`（JSON 格式的验证器输入数据，不进行代码插值，实现测试数据与逻辑的分离）、`metadata.json`（包含来源数据集、行索引、任务族等信息的元数据，支撑数据溯源需求）以及 `task.toml`（标准的 Harbor 任务配置文件，定义了 CPU、内存、超时等默认设置，方便研发团队根据自身算力情况灵活调整参数）。
数据转换过程注重安全性，针对AI训练数据集常见的代码注入、路径遍历、动态值插值风险，该数据集设置了多重安全机制：确保数据集内容不会被插值到 Shell、Python 或 Dockerfile 源代码中，所有动态值通过 `verifier_data.json` 传递，从根源上避免代码注入风险；基础 Docker 镜像被固定哈希值，避免镜像更新带来的环境变动；文本字段经过清理；压缩包路径经过防遍历等安全验证；并且生成的 tar 包是确定性的，保证了字节级可复现性，不同团队运行同一任务得到的评测结果完全一致。数据集使用的验证器类型为‘normalized_text’，涉及文本的空白字符、大小写和标点符号规范化及子字符串匹配，避免非核心文本差异对评测结果的干扰，进一步提升了知识问答场景评测的公平性。
该数据集样本规模在 10万到 100万 之间，可覆盖绝大多数知识开放问答场景的训练与评测需求，典型应用方向包括通用知识问答智能体的强化学习微调、开放域问答系统的鲁棒性评测、多轮对话Agent的决策能力验证、AI基础设施服务商的算力环境兼容性测试等，可为从算法研发到落地验证的全流程提供标准化支撑。作为当前为数不多的同时覆盖强化学习环境构建与知识开放问答场景的标准化开源数据集，nemotron-gym-knowledge-openqa的发布不仅填补了细分领域的供给缺口，也为AI训练数据集的标准化、安全化建设提供了参考范本，对推动数据要素市场中AI训练数据品类的完善、加速大模型智能体的落地应用均有积极作用。
查看nemotron-gym-knowledge-openqa
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)