ONEKQ Lab 发布 WebApp1K 数据集, 应用在 软件测试、机器学习评估 领域

ONEKQ Lab 本次发布的数据集 WebApp1K, WebApp1K是一个用于评估大型语言模型在测试驱动开发（TDD）任务中的性能的新基准。它包含1000个涵盖20个应用领域的挑战，旨在测试LLM在上下文长度和多特征复杂性约束下生成紧凑、功能代码的能力。该基准突出了指令遵循和上下文学习作为TDD成功的关键能力，超过了通用编码熟练程度或预训练知识的重要性。该数据集的创建旨在帮助软件行业节省时间和成本，并为LLM在严格的应用驱动编码场景中推进其能力奠定基础。

查看WebApp1K

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。