西安交通大学 发布 12,834 generated prompt variants 数据集, 应用在 代码生成、模型评估 领域

西安交通大学 本次发布的数据集 12,834 generated prompt variants, 该数据集由12,834个生成的提示变体组成，用于评估代码大型语言模型（CLLM）在代码生成任务中的表现。数据集的创建旨在模拟真实世界中问题描述的多样性，以揭示现有基准测试中存在的评估偏差问题。通过将不同类型的变异应用于问题描述，研究者发现即使是微小的调整也可能显著影响CLLM的性能，从而强调了改进基准测试设计的重要性。

查看12,834 generated prompt variants

关于 西安交通大学 , 西安交通大学是中国著名的高等学府之一，位于陕西省西安市，是中国教育部直属的全国重点大学，也是国家首批“211工程”和“985工程”重点建设的大学之一。该校在多个学科领域都有显著的研究成果，网络空间安全是其重点发展的学科之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。