Allen Institute for AI发布code_fresh_0825_1225数据集,应用在代码生成、自然语言处理领域

Allen Institute for AI本次发布的数据集code_fresh_0825_1225,该数据集是一个多配置的源代码文件集合，涵盖多种编程语言（如C、C++、Java、Python等）。每个配置对应一种特定编程语言，包含两个层面的信息：1) 仓库元数据：包括仓库名称、许可证、语言、描述、URL、星标数、分支数、提交数、创建和更新时间戳；2) 文件级数据：包括文件名、路径、内容、语言和标记数量。所有配置共享相同的特征结构，但数据规模和示例数量因语言而异。数据集仅包含训练集分割，适用于代码生成、语言模型训练、代码分析等自然语言处理和软件工程任务。

查看code_fresh_0825_1225

关于Allen Institute for AI,艾伦人工智能研究所是一家专注于AI研究和应用的高级研究机构。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。