Meta 发布 Automated LLM Speedrunning Benchmark 数据集, 应用在 大型语言模型、基准测试 领域

Meta 本次发布的数据集 Automated LLM Speedrunning Benchmark, Automated LLM Speedrunning Benchmark 是一个基于社区驱动的 GPT-2 训练改进的基准数据集，共有 21 个连续的速度跑记录。每个记录都包含其训练脚本、测量训练时间、公开宣布的变化以及代码变化的高层次摘要。该基准评估 AI 代理在具有可选提示的情况下复制每个记录转换的能力。

查看Automated LLM Speedrunning Benchmark

README 内容： 

关于 Meta , Meta（前身为Facebook）是一家全球领先的社交媒体和科技公司，总部位于美国加利福尼亚州。Meta致力于通过其平台（如Facebook、Instagram和WhatsApp）连接全球用户，并推动虚拟现实、增强现实和人工智能等前沿技术的发展。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。