字节跳动 发布 Web-Bench 数据集, 应用在 代码生成、网络开发 领域

字节跳动 本次发布的数据集 Web-Bench, Web-Bench是一个基于网络标准和框架的大语言模型代码基准，包含50个项目，每个项目包含20个具有顺序依赖性的任务。该数据集旨在模拟真实世界的软件开发工作流程，覆盖了网络开发的基础元素，包括网络标准和网络框架。Web-Bench的创建过程由具有5到10年经验的工程师设计，每个项目平均需要4到8小时才能完成。该数据集应用于评估大型语言模型在代码生成方面的能力，旨在解决现有代码基准饱和的问题。

查看Web-Bench

Dataset card 内容： 

Files and versions 内容： 

关于 字节跳动 , 字节跳动是一家全球领先的科技公司，总部位于中国北京，主要产品包括抖音、今日头条等。公司致力于通过技术创新，提供个性化内容推荐服务，并在全球范围内拥有广泛的用户基础。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。