韩国科学技术院（KAIST） 发布 MATRIX-11K 数据集, 应用在 视频生成、多实例交互 领域

韩国科学技术院（KAIST） 本次发布的数据集 MATRIX-11K, MATRIX-11K是一个包含11000个视频的数据集，每个视频都配有交互感知的标题和多实例掩码轨迹。该数据集旨在分析视频扩散变换器（Video DiTs）如何内部表示多实例或主语-对象交互。数据集的创建过程涉及使用大型语言模型（LLM）进行交互识别和实例ID提取，并通过视觉语言模型（VLM）进行验证和掩码轨迹构建。MATRIX-11K数据集的应用领域是视频生成，旨在解决现有模型在生成多实例或主语-对象交互方面的不足。

查看MATRIX-11K

关于 韩国科学技术院（KAIST） , 韩国科学技术院（KAIST）是韩国的一所著名研究型大学，以其在工程、计算机科学和人工智能等领域的创新研究和教育项目而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。