广东工业大学 发布 VideoMind 数据集, 应用在 多模态数据、视频内容分析 领域

广东工业大学 本次发布的数据集 VideoMind, VideoMind是一个包含103K视频样本的多模态视频数据集，每个样本都伴有音频和详尽的文本描述。数据集的内容包括图像、视频、音频和文本，以及自动语音识别（ASR）、光学字符识别（OCR）和各种语义标签。VideoMind旨在通过提供全面且深入的视频内容文本解释，促进视频理解和增强多模态表示。数据集的创建过程包括从社交媒体平台选择视频，并利用mLLM生成从事实到意图的多层次文本描述。VideoMind适用于需要深入理解视频内容的领域，如情绪和意图识别，并通过混合认知检索实验评估模型的视频理解能力。

查看VideoMind

README 内容： 

关于 广东工业大学 , 广东工业大学是一所以工为主，工、理、经、管、文、法、艺术等多学科协调发展的省属重点大学，位于中国广东省广州市。学校设有多个学院，涵盖了工程、科学、管理、文学等多个领域，致力于培养高素质的应用型人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。