TartuNLP 发布 aeg-data 数据集, 应用在 语言模型训练、多语言处理 领域

TartuNLP 本次发布的数据集 aeg-data, 该数据集包含多个配置，每个配置针对不同的语言（如德语、爱沙尼亚语、乌克兰语）和模型（如GPT-3、GPT-4、LLaMA、mT5、NLLB）。每个配置都有一个train分割，包含特定数量的示例和字节。数据集似乎用于训练语言模型，不同的版本针对特定的模型和归一化技术进行了优化。

查看aeg-data

Dataset card 内容： 

Files and versions 内容： 

关于 TartuNLP , TartuNLP是一个专注于自然语言处理领域的研究组织，致力于开发先进的NLP技术和工具，以促进语言技术的创新和应用。

关于 HuggingFace , Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。