国立阳明交通大学 发布 DaMO 数据集, 应用在 视频处理、多模态学习 领域

国立阳明交通大学 本次发布的数据集 DaMO, DaMO 是一个针对视频领域的大型语言模型，专门设计用于精确的时间推理和多模态理解。该模型的核心是 Temporal-aware Fuseformer，它采用分层双流架构，逐步捕捉每个模态中的时间动态，并有效地融合互补的视觉和音频信息。DaMO 还集成了一个全局残差，减少了空间冗余，同时保留了重要的语义细节。为了进一步增强计算效率，DaMO 还采用了一个分阶段的训练模式，逐步为模型配备多模态对齐、语义接地和时间推理能力。这项工作还通过 GPT 生成的具有时间定位的 QA 对，丰富了现有的数据集，为需要时间监督的任务提供了一个有价值的资产。

查看DaMO

关于 国立阳明交通大学 , 国立阳明交通大学是位于中国台湾的一所研究型大学，拥有多个学院和研究机构，致力于科学研究和高等教育。人工智能学院是其下属学院之一，专注于人工智能领域的教育和研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。