Meta 发布 Llama3 405B model 数据集, 应用在 自然语言处理、深度学习 领域

Meta 本次发布的数据集 Llama3 405B model, 该数据集采用了一种密集型变压器模型，专为处理长上下文的大型语言模型推断而设计，能够处理最大为128K个标记的上下文窗口。该模型包含了行级量化FP8权重，并针对多GPU的高并行效率进行了优化。在规模上，该数据集具备100万上下文预填充的能力，并在1至16个节点的性能基准测试中表现出色。其任务是对长上下文进行预填充及并行扩展解码。

查看Llama3 405B model

关于 Meta , Meta（前身为Facebook）是一家全球领先的社交媒体和科技公司，总部位于美国加利福尼亚州。Meta致力于通过其平台（如Facebook、Instagram和WhatsApp）连接全球用户，并推动虚拟现实、增强现实和人工智能等前沿技术的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。