中国科学院计算技术研究所 发布 HERM-100K 数据集, 应用在 多模态数据集、视觉理解 领域

中国科学院计算技术研究所 本次发布的数据集 HERM-100K, HERM-100K是由中国科学院计算技术研究所创建的综合性多模态数据集，旨在提升多模态大语言模型（MLLMs）在以人为中心场景下的理解能力。该数据集包含超过100,000条多层次的人类中心注释，涵盖图像级密集描述、实例级注释和属性级注释，以提供全面的视觉信息。数据集的创建过程利用了GPT-4V生成多样化的图像来源注释，并通过预定义模板和GPT-4提示进行多任务预训练和指令微调。HERM-100K主要应用于增强MLLMs在复杂人类中心场景中的视觉理解和任务执行能力，旨在解决现有数据集在人类中心视觉理解中的不足。

查看HERM-100K

关于 中国科学院计算技术研究所 , 中国科学院计算技术研究所是中国科学院下属的研究机构，主要从事计算机科学和技术领域的研究与开发，涵盖高性能计算、人工智能、网络与信息安全等多个方向。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。