南京大学 发布 InstanceVid 数据集, 应用在 文本到视频生成、视频字幕 领域

南京大学 本次发布的数据集 InstanceVid, InstanceVid数据集是由南京大学、字节跳动和南开大学的研究团队创建的，专门用于文本到视频生成任务的高质量视频数据集。该数据集包含22,000个样本，旨在通过实例感知结构化字幕来提升视频生成模型的性能。数据集的创建过程结合了辅助模型集群和多模态大语言模型，以确保视频字幕的精细度和准确性。InstanceVid数据集主要应用于文本到视频生成领域，旨在解决现有视频字幕数据集在细节描述和动作描绘上的不足，从而提高生成视频的保真度和一致性。

查看InstanceVid

README 内容： 

关于 南京大学 , 南京大学是中国的一所著名综合性大学，位于江苏省南京市，拥有悠久的历史和卓越的学术声誉，涵盖了文、理、工、医等多个学科领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。