香港中文大学 发布 Lyra Dataset 数据集, 应用在 多模态学习、语音处理 领域

香港中文大学 本次发布的数据集 Lyra Dataset, Lyra数据集是由香港中文大学、SmartMore和香港科技大学联合创建的高质量多模态数据集，旨在提升多模态大语言模型（MLLM）的语音处理能力。该数据集包含150万条文本-图像-语音样本和1.2万条长语音样本，数据来源于多种公共资源，确保了数据的多样性和丰富性。数据集的创建过程结合了现有的开源大模型和多模态LoRA模块，通过训练使模型能够处理复杂的长时间语音输入，提升模型的多模态理解和推理能力。Lyra数据集主要应用于多模态任务，如视觉-语言、视觉-语音和语音-语言任务，旨在解决长时间语音输入和多模态交互中的复杂问题。

查看Lyra Dataset

README 内容： 

关于 香港中文大学 , 香港中文大学是一所位于中国香港特别行政区的公立研究型大学，成立于1963年，提供包括本科、硕士和博士在内的多种学位课程，并在多个学科领域享有国际声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。