Innopolis大学 发布 YABLoCo 数据集, 应用在 代码生成、编程语言 领域

Innopolis大学 本次发布的数据集 YABLoCo, YABLoCo是一个用于评估大型代码库中长上下文代码生成的大语言模型基准数据集。该数据集包含从四个大型代码库中选取的215个函数，每个函数均包含元数据、不同依赖级别的上下文、文档字符串、函数体和调用图。数据集旨在评估C/C++编程语言中大型代码库的代码生成模型，并包含200K至2,000K行代码的大型代码库。此外，数据集还提供了一个可扩展的评估流程，用于高效计算目标指标，并提供了生成代码的可视化分析工具。

查看YABLoCo

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。