上海人工智能实验室 发布 MELLA 数据集, 应用在 自然语言处理、多模态学习 领域

上海人工智能实验室 本次发布的数据集 MELLA, MELLA是一个多模态、多语言数据集，旨在解决低资源语言环境中多模态大型语言模型（MLLMs）的性能问题。该数据集包含680万个图像-文本对，覆盖阿拉伯语、捷克语、匈牙利语、韩语、俄语、塞尔维亚语、泰语和越南语等八种低资源语言。MELLA数据集的独特之处在于其双源策略，通过收集原始网络HTML的alt-text以及MLLM生成的详细英文图像描述，分别构建了文化知识和语言能力两个子数据集，从而在低资源语言环境中有效地提升了MLLM的语言能力和文化适应性。

查看MELLA

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。