当前，AIGC技术正从单模态内容生成向多实体可控交互方向快速演进，但行业普遍面临高质量标注训练数据不足的痛点：现有通用视频数据集多缺乏细粒度的实体动作标注，时序精度难以满足多实体交互视频世界模型的训练需求，成为制约游戏AI、可控视频生成等领域技术突破的核心瓶颈。
近日，上海交通大学联合英伟达研究院等多家机构共同构建的大规模游戏视频数据集Incantation dataset正式对外发布，是国内首个专门面向多实体交互视频世界模型设计的垂直领域数据集。
据介绍，Incantation数据集覆盖《艾尔登法环》《拳皇》两大异构游戏世界，总时长达到128小时，两类游戏分别对应开放世界复杂交互、强对抗高动作密度两大典型场景，大幅提升了数据集的场景适配性。不同于普通人工标注数据集，Incantation所有数据直接从游戏内存提取，实现了时序数据的零时间偏移，同时以0.25秒为粒度提供精确的每帧每实体动作标签，配套结构化动作导向元数据标注体系，可支持细粒度多实体控制、跨实体语义迁移等前沿方向的研究。
从应用价值来看，该数据集核心可用于训练自然语言驱动的交互视频生成模型，解决传统动作接口在跨实体泛化、开放词汇语义表达方面的行业痛点。除此之外，其典型应用场景还包括：游戏领域可用于训练高智能非玩家角色（NPC），实现多角色协同交互、玩家行为动态响应，提升开放世界游戏的内容丰富度与沉浸感；数字孪生领域可用于多主体交互逻辑预训练，为智慧园区、智能制造场景下的多设备协同调度提供算法支撑；可控视频生成领域可助力实现开放词汇指令驱动的多角色交互视频生成，降低专业内容创作门槛。
该数据集核心应用于训练自然语言驱动的交互视频生成模型，旨在解决传统动作接口在跨实体泛化与开放词汇语义表达方面的局限性，推动游戏AI与可控视频生成领域的发展。
Dataset card内容：
Files and versions内容：
作为AI技术研发的核心生产要素，高质量标注数据集的供给能力直接决定了垂直领域AI技术的落地速度。本次Incantation数据集的发布，填补了国内多实体交互视频模型训练领域的高质量数据供给空白，对于完善我国AI训练数据集供给体系、推动游戏AI与可控视频生成领域的技术创新具有重要意义。
_1769672084863.jpg)