尤利希超级计算中心（JSC） 发布 LAION-400M 数据集, 应用在 多模态学习、图像文本匹配 领域

尤利希超级计算中心（JSC） 本次发布的数据集 LAION-400M, LAION-400M是由尤利希超级计算中心等机构创建的一个包含4亿对图像-文本数据的大型公开数据集。该数据集通过筛选自Common Crawl的图像及其对应的文本描述，并应用CLIP模型进行过滤，确保数据的质量和相关性。数据集创建过程中，采用了分布式处理和单节点后处理相结合的方法，以高效地从庞大的原始数据中提取和整理出高质量的图像-文本对。LAION-400M的应用领域广泛，主要用于训练多模态语言-视觉模型，如DALL-E和CLIP，以支持零样本或少量样本学习，解决图像和文本间的语义匹配问题。

查看LAION-400M

关于 尤利希超级计算中心（JSC） , 尤利希超级计算中心（JSC）是德国尤利希研究中心（FZJ）的一部分，专注于高性能计算和数据处理，为科学研究和工业应用提供先进的计算资源和技术支持。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。