图宾根大学 发布 FuseLIP 数据集, 应用在 多模态数据、机器学习 领域

图宾根大学 本次发布的数据集 FuseLIP, FuseLIP是一个新型的多模态嵌入模型，基于早期融合的离散图像和文本标记，通过单个Transformer编码器进行处理，实现了超越或可比于现有晚期融合方法的性能。该模型可以有效地在单模态和多模态数据上进行训练，使用标准的对比损失并结合硬负样本，同时支持并显著受益于掩码建模目标。FuseLIP旨在解决多模态输入的编码问题，即如何将图像和文本对编码为单个特征向量，从而在视觉语言对齐和零样本任务中取得优异表现。

查看FuseLIP

README 内容： 

关于 图宾根大学 , 图宾根大学是位于德国图宾根市的一所公立研究型大学，成立于1477年，是欧洲最古老的大学之一。该校在自然科学和人文科学领域享有盛誉，特别是在物理学、化学、生物学和医学等领域有显著成就。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。