东京科学研究所 发布 Multi-task Multicriteria Human Evaluation (MMHE) 数据集, 应用在 视觉语言任务、模型评估 领域

东京科学研究所 本次发布的数据集 Multi-task Multicriteria Human Evaluation (MMHE), Multi-task Multicriteria Human Evaluation (MMHE)数据集由东京科学研究所和MBZUAI创建，包含18000条专家人类判断，涵盖四个视觉语言任务和五个评估标准。数据集内容包括引用表达生成、视觉问答、视觉文档理解和图像描述生成等任务。数据集的创建过程包括从现有数据集中选择源数据、使用先进的视觉语言模型生成目标文本，并由专家进行评估。该数据集主要用于评估自动评估指标与人类判断的一致性，旨在提高视觉语言模型的可靠性和鲁棒性。

查看Multi-task Multicriteria Human Evaluation (MMHE)

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。