发布 OmniAlign-V-DPO 数据集, 应用在 多模态语言模型、偏好优化 领域

本次发布的数据集 OmniAlign-V-DPO, OmniAlign-V-DPO数据集是基于OmniAlign-V数据集构建的，包含了15万高质量的正负样本对，用于直接偏好优化（DPO）。该数据集使用OmniAlign-V数据集中的答案作为正样本，使用LLaVANext-OA-InternLM-7B模型生成的答案作为负样本，通过拒绝采样方法获得。使用OmniAlign-V-DPO数据集在DPO阶段训练，可以显著提高多模态语言模型（MLLMs）与人类偏好的对齐程度。

查看OmniAlign-V-DPO

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。