上海交通大学 发布 PRDBench 数据集, 应用在 代码生成、评估基准 领域

上海交通大学 本次发布的数据集 PRDBench, PRDBench是一个包含50个真实世界Python项目的基准数据集，涵盖20个领域。每个项目都包含结构化的产品需求文档（PRD）、全面的评估标准和参考实现。该数据集具有丰富的数据来源、高任务复杂性和灵活的评估指标。数据集创建过程利用先进的代码代理生成项目框架和评估标准，人工标注者只需验证标准与项目接口的一致性以及预期输出是否符合PRD要求。PRDBench旨在解决现有代码代理评估基准数据集标注成本高、专家要求高以及评估指标僵化的问题，为代码代理和评估代理的能力评估提供了一个可扩展且健壮的框架。

查看PRDBench

关于 上海交通大学 , 上海交通大学是中国历史悠久的著名高等学府之一，位于中国的经济、金融、贸易和航运中心上海。它是一所以工程学科为主，工、理、管、法、经、文、农、医等多学科协调发展的研究型大学，具有很高的学术声誉和国际影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。