发布 SWE-Bench-Verified-O1-reasoning-high-results 数据集, 应用在 软件工程、模型推理 领域

本次发布的数据集 SWE-Bench-Verified-O1-reasoning-high-results, SWE-Bench Verified O1数据集包含了通过CodeAct框架生成的O1模型在软件工程任务中的推理轨迹。该数据集展示了O1模型从初始错误分析到最终补丁生成的完整思维过程。数据集的组织包括原始数据、数据集查看器、推理轨迹和评估数据。原始数据文件为`output.jsonl`，包含了所有问题的聚合轨迹；数据集查看器文件为`dataset_viewer.parquet`，以结构化Parquet文件格式存储，包含关键字段如`issue_name`、`project`、`issue_id`、`num_turns`、`full_conversation_jsonl`、`patch`、`success`和`execution_time`。推理轨迹存储在`llm_completions/`目录下，每个问题对应一个JSONL文件，最多包含30个交互轮次。评估数据存储在`eval_outputs/`目录下，每个问题包含补丁文件、评估脚本、详细指标报告、完整过程日志和测试套件结果。

查看SWE-Bench-Verified-O1-reasoning-high-results

Dataset card 内容： 

Files and versions 内容： 

关于 , 国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。