新加坡管理大学 发布 DSDBench 数据集, 应用在 数据科学、代码调试 领域

新加坡管理大学 本次发布的数据集 DSDBench, DSDBench是由新加坡管理大学和清华大学联合创建的数据科学调试基准数据集。该数据集通过改编现有的数据科学任务基准，如DABench和MatPlotBench，构建了包含自动合成的多跳、多错误代码片段的逼真的数据科学调试任务。DSDBench包含1117个经过精心注释的样本，共有741个因果错误对和运行时错误消息。该数据集旨在评估大型语言模型在数据科学代码中的多跳错误跟踪和多错误检测的调试能力。

查看DSDBench

README 内容： 

关于 新加坡管理大学 , 新加坡管理大学（Singapore Management University，简称SMU）是新加坡的一所公立研究型大学，成立于2000年，以商业学科为主，旨在培养具有国际视野的商业领袖和专业人士。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。