Cohere 发布 msmarco-v2.1-embed-english-v3 数据集, 应用在 信息检索、自然语言处理 领域

Cohere 本次发布的数据集 msmarco-v2.1-embed-english-v3, 该数据集包含TREC-RAG 2024语料库的嵌入，使用Cohere Embed V3 English模型生成。数据集包括113,520,750个段落的嵌入，1677个来自TREC-Deep Learning 2021-2023的查询的嵌入，以及所有查询的top-1000结果。数据集提供了多种格式的文件，包括Parquet、JSONL和Numpy，便于不同场景下的使用。此外，还提供了一个预构建的索引，仅需300MB内存即可进行搜索，实现了高效的搜索体验。

查看msmarco-v2.1-embed-english-v3

Dataset card 内容： 

Files and versions 内容： 

关于 Cohere , Cohere是一家专注于自然语言处理的人工智能初创公司。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。