亚马逊网络服务 发布 CodeAssistBench (CAB) 数据集, 应用在 编程辅助、自然语言处理 领域

亚马逊网络服务 本次发布的数据集 CodeAssistBench (CAB), CodeAssistBench (CAB) 是一个全面的基准框架，旨在评估大型语言模型 (LLM) 在现实世界中多轮编程辅助场景下的表现。该数据集包含来自 GitHub 的 3,286 个真实世界编程问题，涵盖 231 个存储库、七种编程语言和多样化的问题领域。CAB 自动从 GitHub 问题生成可扩展的数据集，无需手动校对，并包括代码库的自动容器化以进行评估。它通过在具有完整代码库访问权限的容器化环境中模拟用户来评估模型。CAB 的评价框架通过模拟真实用户与维护人员的交互，使用三个不同的角色：用户、维护人员和法官，来评估对话质量。该数据集旨在解决当前编程助手基准在模拟开发者实际工作流程方面的局限性，并通过真实世界的问题来解决现实世界的问题。

查看CodeAssistBench (CAB)

关于 亚马逊网络服务 , 亚马逊网络服务（AWS）是亚马逊公司提供的云计算平台，提供包括计算能力、数据库存储、内容分发等在内的多种服务。AWS AI 是其人工智能服务的一部分，提供机器学习、深度学习等AI技术解决方案。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。