新加坡管理大学 发布 LessLeak-Bench 数据集, 应用在 数据泄露、软件工程 领域

新加坡管理大学 本次发布的数据集 LessLeak-Bench, LessLeak-Bench是一个由新加坡管理大学研究人员创建的数据集，旨在研究大型语言模型（LLM）在软件工程（SE）任务中的数据泄露问题。该数据集包含83个SE基准，涵盖了Java、C/C++和Python三种广泛使用的编程语言。通过使用高效的数据检测算法MinHash+LSH，研究团队识别了SE基准数据与LLM预训练数据之间的潜在重复对，并通过人工标注确认了真正的重复数据，揭示了SE基准数据泄露的问题。该数据集的创建旨在为未来的研究提供更可靠的LLM评估。

查看LessLeak-Bench

关于 新加坡管理大学 , 新加坡管理大学（Singapore Management University，简称SMU）是新加坡的一所公立研究型大学，以商业管理教育著称，成立于2000年，是亚洲顶尖的商学院之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。