Queen’s University 发布 SE Arena 数据集, 应用在 软件工程、聊天机器人评估 领域

Queen’s University 本次发布的数据集 SE Arena, SE Arena是由Queen’s University的研究人员创建的一个互动平台，旨在评估面向软件工程任务的聊天机器人。该平台提供了一个透明的、开源的排行榜，支持多轮对话工作流程，并能够对端到端的模型进行比较。SE Arena引入了一个名为RepoChat的新功能，可以自动将仓库相关上下文（例如问题、提交、拉取请求）注入对话中，使评估更加接近真实世界的软件开发过程。

查看SE Arena

Dataset card 内容： 

Files and versions 内容： 

关于 Queen’s University , Queen’s University，即女王大学，是一所位于加拿大安大略省金斯顿的公立研究型大学，成立于1841年，是加拿大最古老的大学之一。该校以其卓越的教学和研究质量而闻名，尤其在工程、法律、商学和医学等领域有很高的声誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。