中国科学技术大学 发布 VLM-150M 数据集, 应用在 计算机视觉、自然语言处理 领域

中国科学技术大学 本次发布的数据集 VLM-150M, VLM-150M数据集是由中国科学技术大学和腾讯微信视觉的研究人员创建的，包含1.5亿高质量图像文本对，每个图像文本对都由最新的视觉语言模型生成四个互补文本：长正面描述、长负面描述、短正面标签和短负面标签。该数据集旨在提高图像文本对的匹配质量，用于训练和测试视觉语言模型。VLM-150M数据集的创建过程是通过使用GPT-4o对10,000个高质量的图像文本对进行重写，并使用开源的视觉语言模型进行监督微调，以生成丰富的文本描述。该数据集的应用领域包括零样本分类、跨模态检索和细粒度视觉理解任务。通过在多个数据集上的实验，HQ-CLIP模型展示了在零样本泛化、跨模态检索和细粒度视觉理解任务上的卓越性能，甚至超过了使用2亿数据进行训练的标准CLIP模型。

查看VLM-150M

关于 中国科学技术大学 , 中国科学技术大学是中国的一所综合性研究型大学，位于安徽省合肥市，以培养高水平的科技人才和进行科学研究为宗旨，是中国著名的高等学府之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。