Free University of Bozen-Bolzano 发布 THROWBENCH 数据集, 应用在 编程语言、异常处理、人工智能模型评估 领域

Free University of Bozen-Bolzano 本次发布的数据集 THROWBENCH, THROWBENCH是由Free University of Bozen-Bolzano和Univ. Bordeaux等机构的研究人员创建的一个数据集，包含超过2400个短小的人类编写的程序，这些程序使用四种不同的编程语言编写。大多数程序在运行时抛出异常（由于程序中的错误）。该数据集旨在评估大型语言模型是否能正确预测运行时程序行为，特别是预测程序是否抛出异常以及抛出哪种类型的异常。数据集中的程序是从RunBugRun数据集中筛选出来的，RunBugRun数据集是基于IBM的CodeNet数据集，包含了多种编程语言编写的编程竞赛提交作品。THROWBENCH数据集可用于评估和改进大型语言模型在代码理解方面的能力。

查看THROWBENCH

关于 Free University of Bozen-Bolzano , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。