Salesforce 发布 cota-mantis 数据集, 应用在 多模态语言模型、视觉问题回答 领域

Salesforce 本次发布的数据集 cota-mantis, TACO数据集包含293K条由GPT-4o生成的合成思维链和行动链，涉及15种行动，如OCR、深度估计、计算器等。这些数据用于微调多模态语言模型，以生成思维链和行动链来回答复杂的视觉问题。数据集的生成过程包括使用GPT-4o和Python程序生成大量的合成数据，并通过数据过滤和混合技术获得高质量的子集。数据集的来源包括Cauldron和Mantis-Instruct，这些数据集收集自COCO、AOKVQA、ScienceQA、Visual Genome等多个现有数据集。

查看cota-mantis

Dataset card 内容： 

Files and versions 内容： 

关于 Salesforce , Salesforce是全球领先的云计算公司，专注于提供CRM软件和服务。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。