Microsoft 发布 CoverageEval 数据集, 应用在 代码覆盖率预测、机器学习评估 领域

Microsoft 本次发布的数据集 CoverageEval, 该数据集名为COVERAGEEVAL，旨在评估大型语言模型（LLM）在代码覆盖率预测任务上的表现。它是通过执行HumanEval数据集中的测试用例并收集代码覆盖率信息而创建的。该数据集保留了HumanEval数据集的结构，并为每个测试用例增加了覆盖率注释，从而为评估LLM提供了一个标准化的基准。其所涉及的任务是代码覆盖率预测。

查看CoverageEval

关于 Microsoft , 微软是一家总部位于美国华盛顿州的全球知名科技公司。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。