Salesforce 发布 CogAlign 数据集, 应用在 视觉语言模型、后训练策略 领域

Salesforce 本次发布的数据集 CogAlign, CogAlign是一个针对视觉语言模型（VLMs）的后训练策略，旨在增强其视觉算术能力。该数据集是一个合成的训练数据集，包含64,000个示例，用于促进这种后训练过程。CogAlign受到皮亚杰认知发展理论的启发，专注于提高VLM对守恒和去中心化的理解。每个示例包括一个视觉输入、一个提示比较特定属性的查询、一个与视觉输入一致的积极回应，以及一个与之矛盾的消极回应。训练VLMs使用CogAlign后，在依赖视觉算术的下游任务中性能得到提升，特别是在图表理解和几何问题解决方面。该数据集允许VLMs学习基本的视觉算术，从而在涉及视觉算术的任务中表现更好。重要的是，CogAlign在性能上可以与特定任务的SFT方法相媲美甚至更好，同时所需的训练数据量减少了60%。

查看CogAlign

Dataset card 内容： 

Files and versions 内容： 

关于 Salesforce , Salesforce是全球领先的云计算公司，专注于提供CRM软件和服务。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。