Allen Institute for AI 发布 tulu-3-sft-reused-on-policy-70b 数据集, 应用在 模型生成、偏好注释 领域

Allen Institute for AI 本次发布的数据集 tulu-3-sft-reused-on-policy-70b, 该数据集是Tulu 3偏好混合的一部分，包含来自Tulu-3-SFT的提示，这些提示包含约束条件，并且包含19,444个生成对（其中一些是来自allenai/Llama-3.1-Tulu-3-70B的on-policy数据）。生成对是通过多种模型生成的，包括Mistral 7B Instruct v0.2、Mistral Nemo Instruct 2407、Tulu 2 7B、Tulu 2 13B、Yi-34B-Chat、Yi-6B-Chat、MPT 30B Chat、MPT 7B 8k Chat、Google Gemma 2 27B it、Google Gemma 2 9B it、InternLM2.5 20B、InternLM2.5 7B、InternLM2.5 1.8B、Falcon 7B、Qwen2.5 72B Instruct、Qwen2.5 32B Instruct、Qwen2.5 14B Instruct、Qwen2.5 7B Instruct、Llama 3.1 8B Instruct、Llama 3.1 70B Instruct、Llama 3 8B Instruct、GPT-4 Turbo、GPT-4o、Claude 3.5 Sonnet。生成过程结合了on-policy和off-policy数据，并使用Ultrafeedback模板和LLM法官在四个不同方面进行偏好注释。数据集遵循ODC-BY许可证，适用于研究和教育用途。

查看tulu-3-sft-reused-on-policy-70b

Dataset card 内容： 

Files and versions 内容： 

关于 Allen Institute for AI , 艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。