AWS AI Labs 发布 MIGRATION-BENCH 数据集, 应用在 代码迁移、机器学习评估 领域

AWS AI Labs 本次发布的数据集 MIGRATION-BENCH, MIGRATION-BENCH是一个大规模的基准数据集，用于评估大型语言模型（LLMs）从Java 8迁移到最新长期支持（LTS）版本（Java 17, 21）的代码迁移能力。该数据集包括一个完整的数据集和其分别包含5,102和300个存储库的子集。选定的子集是为复杂性和难度而精心策划的，为代码迁移领域的研究提供了一个多功能的资源。此外，我们还提供了一个全面的评估框架，以促进对LLMs在此项具有挑战性任务上的严格和标准化的评估。我们进一步提出了SD-Feedback并证明了LLMs可以有效处理到Java 17的存储库级代码迁移。对于包含Claude-3.5-Sonnet-v2的选定子集，SD-Feedback分别实现了62.33%和27.00%的成功率（pass@1），用于最小和最大迁移。基准数据集和源代码可以在https://huggingface.co/collections/AmazonScience和https://github.com/amazon-science/self_debug上获得。

查看MIGRATION-BENCH

Dataset card 内容： 

Files and versions 内容： 

关于 AWS AI Labs , AWS AI Labs 是亚马逊网络服务（AWS）旗下的一个专注于人工智能和机器学习的研究实验室。该实验室致力于推动AI技术的创新和应用，开发新的算法和工具，以支持AWS的云计算服务和客户需求。AWS AI Labs 的研究成果广泛应用于语音识别、图像处理、自然语言处理等领域，帮助企业和开发者更高效地利用AI技术。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。