香港科技大学 发布 OpenUni 数据集, 应用在 多模态视频、视频生成 领域

香港科技大学 本次发布的数据集 OpenUni, OpenUni是由快手科技Kling团队联合多所高校构建的大规模多模态视频数据集，包含130万条样本，涵盖光流、深度图、密集姿态、骨骼关键点和分割掩码五种模态。该数据集通过预训练模型从互联网视频中提取多模态标注，并经过严格的质量过滤，包含37万单人视频、9.7万双人视频以及来自Koala36M和OpenS2V的83万通用场景视频。数据集采用课程学习策略构建，支持像素对齐和非对齐模态的联合训练，旨在推动视频生成模型在物理世界理解、多任务协同和零样本泛化方面的研究。

查看OpenUni

README 内容： 

关于 香港科技大学 , 香港科技大学是香港一所公立研究型大学，成立于1991年，位于香港九龙清水湾，以科技和商业管理为主，同时发展人文社会科学。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。