中国科学院信息工程研究所 本次发布的数据集 Unified Multimodal Relation Extraction (UMRE), UMRE数据集是一个统一的跨模态关系抽取数据集,旨在同时提取文本实体和视觉对象之间的模态内和模态间关系。该数据集包含28种关系类型,拥有55021个标注的跨模态关系三元组,来源于12737个文本-图像对。UMRE数据集的构建过程包括两个阶段:首先,使用多模态大型语言模型识别和提取文本和图像数据中的潜在候选实体和对象;其次,招募教育背景良好的标注员分析图像和文本信息,识别文本实体和视觉对象之间的模态内和模态间关系。UMRE数据集旨在解决跨模态检索和多模态知识图谱构建等领域的相关问题。
查看Unified Multimodal Relation Extraction (UMRE)
关于 中国科学院信息工程研究所 , -_simple
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。




_1769672084863.jpg)