FAR AI本次发布的数据集mbpp-honeypot-impossible-oneoff-sanitized,该数据集是一个用于代码相关任务的结构化数据集,重点关注函数测试与断言验证。数据集中每个样本代表一个独立的编程任务,包含任务ID、函数规范(含自然语言描述、函数签名、入口点及文档字符串)、原始断言序列以及经过变异的断言序列。数据集特别标注了被变异的断言索引、原始内容与替换内容,并提供了测试设置代码、测试用例本身及其原始版本。关键字段记录了参考实现(或解决方案)对原始测试和变异测试的通过情况(布尔值),以及可见测试与挑战测试的数量。数据集包含总计395个样本,划分为训练集(113个样本)、测试集(240个样本)和验证集(42个样本)。其结构表明它适用于代码生成质量评估、测试用例生成、程序修复或断言变异分析等研究场景。
查看mbpp-honeypot-impossible-oneoff-sanitized





_1769672084863.jpg)