赫尔辛基大学 发布 SESR-Eval 数据集, 应用在 软件工程、自然语言处理 领域

赫尔辛基大学 本次发布的数据集 SESR-Eval, SESR-Eval数据集是一个用于评估大型语言模型（LLMs）在软件工程系统审查（SRs）标题摘要筛选过程中的性能的基准数据集。该数据集包含来自24个软件工程（SE）期刊的34,528个标记的原始研究，这些研究是从169个SR研究制品中筛选出来的。数据集的创建过程包括从研究制品中提取数据、进行元数据检索、检索缺失的摘要、确定地面真实值、检索包含和排除标准等步骤。SESR-Eval数据集旨在解决LLMs在标题摘要筛选任务中的性能评估问题，为研究人员提供证据，以确定是否建议在软件工程中进行系统审查时使用LLMs。该数据集可用于比较AI解决方案，并监控LLMs在未来进度和改进。

查看SESR-Eval

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。