斯坦福大学 发布 ResearchCodeBench 数据集, 应用在 机器学习、编程挑战 领域

斯坦福大学 本次发布的数据集 ResearchCodeBench, ResearchCodeBench是一个包含212个编程挑战的基准数据集，用于评估大型语言模型（LLMs）将顶级2024-2025年研究论文中的前沿机器学习贡献转化为可执行代码的能力。该数据集涵盖了来自NeurIPS、ICLR、CVPR等顶级会议和arXiv的20篇最新机器学习论文，涉及生成模型、计算机视觉、理论、强化学习等多个领域。每个挑战都伴随有正确性测试，并由论文作者或领域专家共同开发，以确保其准确性和严谨性。

查看ResearchCodeBench

关于 斯坦福大学 , 斯坦福大学是一所位于美国加州的世界顶尖私立研究型大学，以其在科技、工程、商业和法律等领域的卓越教学和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。