发布 openo1-sft-orpo 数据集, 应用在 文本生成、自然语言处理 领域

本次发布的数据集 openo1-sft-orpo, 该数据集是一个用于文本生成的英语数据集，大小在10K到100K之间。数据集的特征包括prompt、accepted、rejected和_original_idx。数据集的分割为train，包含77685个示例。数据集描述部分提到，该数据集是使用SmolLM2-360M-Instruct GGUF模型生成的，目的是为每个prompt生成rejected响应，并使用原始数据集的答案作为accepted列。数据集的设计灵感来自OpenAI的论文，目的是通过ORPO方法结合SFT和RL过程，使用专门为推理设计的数据集来实现类似的结果。然而，使用ORPO有其局限性，可能会削弱RL过程的某些方面。

查看openo1-sft-orpo

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。