Cognitive Computations 发布 OpenCoder-LLM_opc-sft-stage2-labeled 数据集, 应用在 代码生成、数据过滤 领域

Cognitive Computations 本次发布的数据集 OpenCoder-LLM_opc-sft-stage2-labeled, OpenCoder-LLM SFT Labeled数据集用于过滤OpenCoder-LLM SFT数据集。该数据集通过两个脚本进行修改：dedupe.py用于删除重复的指令行，label.py用于添加标志列，标志列包含拒绝、未经请求的建议、NSFW内容、PII信息和免责声明等布尔值。数据集由四个部分组成：educational_instruct使用算法语料库生成（指令、代码、测试用例）三元组，并通过Python编译器验证；evol_instruct直接使用开源版本MagicCoder-Evol-Instruct-110k；mceval_instruct直接使用开源版本McEval-Instruct；package_instruct从pydoc中提取常见接口文档并生成Python包相关问题。

查看OpenCoder-LLM_opc-sft-stage2-labeled

Dataset card 内容： 

Files and versions 内容： 

关于 Cognitive Computations , Cognitive Computations是一个专注于认知计算领域的研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。