NVIDIA发布Retrieval-Synthetic-NVDocs-v1数据集,应用在信息检索、自然语言理解领域

NVIDIA本次发布的数据集Retrieval-Synthetic-NVDocs-v1,Retrieval-Synthetic-NVDocs-v1 是一个合成的检索数据集，旨在训练和评估嵌入模型及检索增强生成（RAG）系统。该数据集基于 NVIDIA 公开可用的内容，使用 NeMo Data Designer 框架生成，包含文档块与语义丰富的问答对，涵盖多种推理类型（事实性、关系性、程序性、推理性、时间性、因果性、视觉性）和查询类型（结构性、多跳、上下文相关）。每条记录包含提取的文档元素（如实体、关键概念、关系、技术术语、主题和见解），为检索和理解任务提供多样化的训练信号。数据集格式为 JSON，包含文档文本、分块信息、结构化部分、文档元素和生成的问答对等字段。数据集规模为 15,095 条记录（105,665 个查询），总存储量为 816MB。适用于信息检索和自然语言理解系统的研究，包括嵌入模型训练、检索系统评估、RAG 系统开发和问答模型微调等场景。数据集采用 CC BY 4.0 许可，允许商业和非商业使用。

查看Retrieval-Synthetic-NVDocs-v1

关于NVIDIA,英伟达是一家专注于图形处理器开发的全球知名技术公司。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。