Meta AI 发布 LLaMa 数据集, 应用在 自然语言处理、深度学习 领域

Meta AI 本次发布的数据集 LLaMa, 该数据集采用基于变换器（transformer）的模型设计，旨在提高涉及长距离依赖任务上的性能。此外，LLaMa模型还运用了如预RMS归一化（pre-RMSNorm）和旋转嵌入（rotary embedding）等技术。其规模属于大型，适用于自然语言处理任务。

查看LLaMa

README 内容： 

关于 Meta AI , Meta AI是Meta公司的人工智能研究部门，致力于开发和应用先进的人工智能技术，以支持Meta的产品和服务。Meta AI的研究涵盖了从基础研究到应用开发的广泛领域，旨在推动AI技术的边界。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。