香港大学 发布 Multimodal ArXiv 数据集, 应用在 视觉语言模型、科学理解 领域

香港大学 本次发布的数据集 Multimodal ArXiv, Multimodal ArXiv是一个旨在提升大型视觉语言模型（LVLMs）科学理解能力的数据集，由ArXivCap和ArXivQA两部分组成。ArXivCap包含从57.2万篇ArXiv论文中提取的640万张图像和390万条描述，覆盖多个科学领域。ArXivQA则基于ArXivCap的图像，通过GPT-4V生成的问题答案对，用于增强LVLMs的数学推理能力。该数据集的创建旨在解决LVLMs在处理抽象科学图形时的理解限制，通过提供丰富的科学领域数据，帮助模型更好地理解和生成与科学文献相关的视觉内容。

查看Multimodal ArXiv

关于 香港大学 , 香港大学（The University of Hong Kong，简称HKU）是香港历史最悠久的高等教育机构，成立于1911年，位于香港岛西部。它是亚洲顶尖的综合性研究型大学，提供广泛的学科领域，包括医学、法律、商业、工程、人文和社会科学等。香港大学在全球大学排名中名列前茅，以其卓越的教学和研究成果著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。