中国科学院自动化研究所 发布 CoT-AudioCaps 数据集, 应用在 视频配音、视觉语言模型 领域

中国科学院自动化研究所 本次发布的数据集 CoT-AudioCaps, CoT-AudioCaps数据集是为了解决视频配音中缺少音频描述的问题而构建的。该数据集通过视频LLAMA2和GPT-4从AudioCaps数据集中提取，包含视频、视频对象、声音事件和音频描述等信息。CoT-AudioCaps数据集的构建过程采用了基于链式思考的监督微调策略，旨在提高视觉语言模型在模态不匹配推理方面的能力。数据集的应用领域主要是在视频配音中，通过推理静音视频中的声音描述来生成音频内容。

查看CoT-AudioCaps

关于 中国科学院自动化研究所 , 中国科学院自动化研究所成立于1956年，是我国自动化科学研究的综合性研究机构，主要开展自动化理论、技术和应用的研究与开发。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。