Cognitive Computations 发布 OpenCoder-LLM_opc-sft-stage1-labeled 数据集, 应用在 代码生成、数据集优化 领域

Cognitive Computations 本次发布的数据集 OpenCoder-LLM_opc-sft-stage1-labeled, OpenCoder-LLM SFT Labeled数据集旨在过滤OpenCoder-LLM SFT数据集。该数据集包含三个主要部分：1) Filtered_infinity_instruct，从infinity_instruct数据集中过滤出与代码相关的内容，建议使用更强的LLM重新生成响应；2) Realuser_instruct，从GPT对话历史中提取的双语代码相关指令，经过低质量响应的重新生成，这部分数据质量高，显著提升了代码LLM的实际性能；3) Largescale_diverse_instruct，基于CommonCrawl和源代码等种子生成的多样化代码相关指令。数据集通过两个脚本进行修改：dedupe.py用于删除重复的指令行，label.py用于添加包含多个布尔值的flags列，如拒绝、未经请求的建议、NSFW内容、PII信息和免责声明等。

查看OpenCoder-LLM_opc-sft-stage1-labeled

Dataset card 内容： 

Files and versions 内容： 

关于 Cognitive Computations , Cognitive Computations是一个专注于认知计算领域的研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。