股份有限公司日立制作所 发布 Diagram Image-Caption Dataset 数据集, 应用在 图像识别、自然语言处理 领域

股份有限公司日立制作所 本次发布的数据集 Diagram Image-Caption Dataset, 本研究构建了一个名为“Diagram Image-Caption Dataset”的人工合成数据集，包含10万对图像和文本描述。数据集旨在消除文本和位置偏置，以便视觉模型能够学习到图像中的边缘特征。该数据集是通过从随机生成的有向图中生成图像和Mermaid风格的文本描述来构建的。每个样本都配有一张图像和一个文本描述，描述一个包含不同数量字母标签节点的有向图。该数据集用于通过对比学习对CLIP模型进行微调，并在三个任务上进行评估：线性探测、图像检索和图表描述。研究结果证实，消除文本和位置偏置可以促进视觉模型准确识别边缘特征，为提高图表理解能力提供了有希望的道路。

查看Diagram Image-Caption Dataset

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。