清华大学 发布 DeSTA-AQA5M 数据集, 应用在 音频处理、自然语言处理 领域

清华大学 本次发布的数据集 DeSTA-AQA5M, DeSTA-AQA5M是一个大规模的音频指令调优数据集，包含了5百万个音频-提示-响应三元组。数据集由来自50个公开可用的音频数据集的7,000小时多样化的音频数据组成，涵盖了语音、环境声音和音乐等多种音频特征。该数据集通过自我生成的跨模态对齐策略构建，旨在解决大型音频语言模型（LALM）在任务无关的情况下实现鲁棒的听觉感知和指令遵循问题。数据集的创建过程利用了骨干语言模型生成自己的训练目标，从而在保留语言模型原有语言能力的同时，建立了有效的音频-文本对齐，实现了零样本泛化。

查看DeSTA-AQA5M

README 内容： 

关于 清华大学 , 清华大学，位于中国北京，是一所享誉全球的顶尖研究型大学，以其深厚的学术底蕴和杰出的科研能力而著称。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。