NVIDIA 发布 GPT-3 Training Traces 数据集, 应用在 深度学习、性能分析 领域

NVIDIA 本次发布的数据集 GPT-3 Training Traces, 该数据集是在训练各种GPT-3模型变体时收集的追踪数据，旨在评估模型的表现和执行行为。这些追踪数据是使用PyTorch Kineto工具收集的，包含了在不同并行策略下的详细执行分解。该数据集涵盖了从150亿到1750亿参数规模的模型训练，其任务是对大规模语言模型训练的性能建模与估计。

查看GPT-3 Training Traces

README 内容： 

关于 NVIDIA , 英伟达是一家专注于图形处理器开发的全球知名技术公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。