IBM以色列 发布 自动生成的代码任务基准 数据集, 应用在 代码生成、LLM评估 领域

IBM以色列 本次发布的数据集 自动生成的代码任务基准, 自动生成的代码任务基准是由IBM以色列的研究团队开发的一个用于评估和验证代码相关任务解决方案的数据集。该数据集包含多种编程语言和代码任务的样本，如代码翻译、生成、完成、测试生成和摘要等。数据集的创建过程利用了图表示法和链式LLM代理，通过循环生成和验证代码相关工件。该数据集主要用于早期测试和验证LLM解决方案的有用性，旨在解决代码生成任务中的质量评估问题。

查看自动生成的代码任务基准

关于 IBM以色列 , IBM以色列是IBM公司在以色列的分支机构，专注于技术创新和研发，涉及领域包括人工智能、云计算、数据分析等。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。