字节跳动 发布 Multi-SWE-bench 数据集, 应用在 软件工程、编程语言 领域

字节跳动 本次发布的数据集 Multi-SWE-bench, Multi-SWE-bench是一个多语言的问题解决数据集，由字节跳动公司发布，包含7种广泛使用的编程语言（Java、TypeScript、JavaScript、Go、Rust、C和C++）的1632个经过人工验证的问题解决实例。数据集的构建分为五个阶段：选取高质量仓库、抓取相关Pull Request、确定环境配置、过滤Pull Request和人工验证。该数据集旨在为评估大型语言模型在现实世界软件工程场景中的性能提供可靠的支撑，并推动强化学习在软件工程领域的应用。

查看Multi-SWE-bench

关于 字节跳动 , 字节跳动是一家全球领先的科技公司，总部位于中国北京，主要产品包括抖音、今日头条等。公司致力于通过技术创新，提供个性化内容推荐服务，并在全球范围内拥有广泛的用户基础。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。