西湖大学 本次发布的数据集 SQA和CSI, SQA(Speech Question Answering)数据集和CSI(Customized Speech Instruction)数据集是专为训练VLAS模型而创建的。SQA数据集由23K个场景组成,每个场景包含389个文本指令和194K个音频指令,覆盖了500种不同的声音,用于训练模型理解和执行基于语音的指令。CSI数据集则包含了500个不同声音的语音指令,用于增强模型在个性化语音指令理解方面的能力。这两个数据集的构建旨在推动机器人操作中语音指令的端到端处理技术的发展。
关于 西湖大学 , 西湖大学是一所位于中国杭州的私立研究型大学,以培养未来科技领袖和推动科学技术发展为己任,致力于在多个学科领域进行前沿研究。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。





_1769672084863.jpg)