国际信息技术研究所发布ArchBench数据集,应用在软件架构、生成式AI领域

国际信息技术研究所本次发布的数据集ArchBench,ArchBench是由国际信息技术研究所·海得拉巴和软件工程研究中心联合开发的首个软件架构任务统一基准平台。该平台整合了五个任务数据集，包括架构决策记录生成、服务器无组件生成等，涵盖1000余份架构文档和多个开源项目代码。数据集通过自动化流程从GitHub、Zenodo等平台获取，并采用NLP相似性指标和代码测试通过率等多维度评估标准。平台通过模块化设计支持社区贡献新任务，旨在解决生成式AI在软件架构领域缺乏标准化评估的难题，推动架构决策、代码生成等任务的模型能力对比与优化。

查看ArchBench

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。