东南大学 发布 KRIS-Bench 数据集, 应用在 图像编辑、知识推理 领域

东南大学 本次发布的数据集 KRIS-Bench, KRIS-Bench是一个基于知识推理的图像编辑系统基准测试，旨在评估模型的知识推理能力。该数据集由东南大学、马克斯·普朗克计算机科学研究所等机构的研究人员共同创建，包含1,267个高质量的标注编辑实例，覆盖了22个编辑任务，跨越7个推理维度。数据集通过认知教育原理进行设计，将知识分为事实性、概念性和程序性三种类型，并提供了详细的分类体系，以支持更精细的评估。KRIS-Bench还引入了新的评估维度——知识合理性，以评估模型生成的编辑是否与现实世界的知识一致，并通过用户研究验证了评估协议的有效性。该数据集适用于图像编辑模型的研究和开发，旨在解决图像编辑中的知识推理问题。

查看KRIS-Bench

关于 东南大学 , 东南大学是中国的一所综合性全国重点大学，位于江苏省南京市，是中国教育部直属的全国重点大学，也是国家“211工程”和“985工程”的首批成员之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。