PKU-Alignment 发布 DollyTails-12K 数据集, 应用在 指令遵循、语言模型微调 领域

PKU-Alignment 本次发布的数据集 DollyTails-12K, DollyTails-12K数据集设计用于遵循指令的任务，采用System 2（类似于O1）的思维范式。数据集中的提示来源于databricks/databricks-dolly-15k，并由GPT-4o进行思考和答案的注释。经过仔细的过滤和筛选，最终数据集包含12K个问答对。每个任务平均有4.93个推理步骤，最多不超过7个步骤，以避免训练过程中不必要的开销。该数据集可用于对大型语言模型（LLM）进行监督微调（SFT），以获得具有System 2类似推理范式的模型。

查看DollyTails-12K

Dataset card 内容： 

Files and versions 内容： 

关于 PKU-Alignment , PKU-Alignment是北京大学的研究小组，专注于强化学习、大型语言模型和价值对齐研究。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。