阿里巴巴集团 发布 AudioCoT 数据集, 应用在 多模态学习、音频生成 领域

阿里巴巴集团 本次发布的数据集 AudioCoT, AudioCoT是一个大型多模态数据集，包含结构化的推理注释，建立了视觉内容、文本描述和声音合成之间的联系。该数据集用于训练ThinkSound模型，该模型能够逐步、交互式地生成和编辑音频。数据集由视频-音频对和音频-文本对组成，涵盖了现实世界中的各种音频视觉事件，并通过多阶段处理流程和自动化的推理生成流程进行构建。

查看AudioCoT

关于 阿里巴巴集团 , 阿里巴巴集团是中国最大的电子商务公司，同时也提供云计算服务、数字媒体和娱乐服务等多种业务。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。