SberAI 发布 SWE-MERA 数据集, 应用在 软件工程、自然语言处理 领域

SberAI 本次发布的数据集 SWE-MERA, SWE-MERA是一个动态更新的基准数据集，用于评估大型语言模型在软件工程任务中的表现。该数据集由真实世界中的GitHub问题组成，并通过自动化的方式收集和验证，以确保数据的真实性和质量。目前，数据集包含大约300个样本，但预计将扩展到10,000个任务。SWE-MERA旨在解决现有基准数据集中存在的问题，例如数据泄露和基准饱和。数据集创建过程包括七个阶段的流水线，以确保数据的质量和减少污染风险。SWE-MERA适用于评估代码生成、代码推理和代码修复等软件工程任务，并已被用于评估多种最新的LLM模型。

查看SWE-MERA

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。