葡萄牙里斯本大学高级技术研究所(INESC-ID Lisboa) 发布 StoryReasoning 数据集, 应用在 视觉叙事、人脸识别 领域

葡萄牙里斯本大学高级技术研究所(INESC-ID Lisboa) 本次发布的数据集 StoryReasoning, StoryReasoning数据集是为了解决视觉叙事系统在保持角色身份一致性和将动作与适当主体关联方面的挑战而创建的。该数据集包含4,178个故事，这些故事是从52,016张电影图片中提取的，具有结构化的场景分析和有根据的故事。每个故事都保持了角色和对象在帧之间的一致性，并通过结构化的表格表示显式地建模多帧关系。该数据集的特点是使用视觉相似性和人脸识别进行跨帧对象重新识别，使用思维链推理进行明确的叙事建模，以及一种将文本元素与多个帧中的视觉实体链接起来的接地方案。该数据集旨在为视觉叙事系统提供一个新的基准，并解决现有系统在保持角色和对象一致性以及生成连贯叙事结构方面的局限性。

查看StoryReasoning

关于 葡萄牙里斯本大学高级技术研究所(INESC-ID Lisboa) , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。