Cohere Labs 发布 Aya project 数据集, 应用在 自然语言处理、多语言模型 领域

Cohere Labs 本次发布的数据集 Aya project, Cohere Labs的Aya项目是一个全球性倡议，旨在开发并公开发布多语言语言模型、指令数据集和评估数据集，以扩展语言覆盖范围。该项目涵盖了101种语言，旨在解决当前大型语言模型在语言支持能力和安全性方面的局限性，以及由此导致的全球性语言差距问题。该数据集的创建过程涉及多个研究小组的合作，旨在克服语言模型开发中的资源不均、数据获取困难、研究参与度不足等问题。数据集的应用领域包括提高AI语言模型的安全性，确保其在不同语言和文化背景下都能可靠地工作，从而促进全球范围内对AI技术的公平访问和文化多样性的保护。

查看Aya project

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。