NVIDIA 发布 Nemotron 2B 数据集, 应用在 自然语言处理、语言模型 领域

NVIDIA 本次发布的数据集 Nemotron 2B, 该数据集采用类似于GPT-2和GPT-3的基于Transformer的解码器语言模型，利用NeMo和Megatron-LM框架在1.1万亿个标记上进行训练。该模型使用了SwiGLU激活函数、旋转位置嵌入、最大序列长度为4096、去除了线性层中的辍学（dropout）和偏置，并且解耦了嵌入层和输出层。该模型的规模达到了200亿个参数，其任务专注于语言建模。

查看Nemotron 2B

Dataset card 内容： 

Files and versions 内容： 

关于 NVIDIA , 英伟达是一家专注于图形处理器开发的全球知名技术公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。