亚马逊 发布 SIFT-50M 数据集, 应用在 语音识别、自然语言处理 领域

亚马逊 本次发布的数据集 SIFT-50M, SIFT-50M是一个大规模的多语言数据集，由亚马逊AGI创建，包含5000万个示例，旨在用于指令微调和预训练语音-文本大型语言模型(LLM)。该数据集由公开可用的语音语料库构建而成，包含14,000小时的语音，利用LLM和现成的专家模型。数据集涵盖五种语言，包含广泛的语音理解和可控语音生成指令。

查看SIFT-50M

Dataset card 内容： 

Files and versions 内容： 

关于 亚马逊 , 亚马逊是一家总部位于美国的跨国科技公司，主要从事电子商务、云计算、数字流媒体和人工智能等业务。其AGI（Artificial General Intelligence）研究部门专注于研究通用人工智能技术。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。