塔比阿特莫达勒斯大学 发布 Matina 数据集, 应用在 自然语言处理、波斯语资源 领域

塔比阿特莫达勒斯大学 本次发布的数据集 Matina, Matina是一个由塔比阿特莫达勒斯大学和德黑兰大学共同创建的大型波斯语文本语料库，包含72.9亿个tokens，经过精细的数据预处理和去重处理以确保高质量。该数据集整合了公开的波斯语数据集以及新收集的数据源，以确保内容的多样性和事实性信息的包含。Matina语料库旨在促进波斯语的自然语言处理，支持大型语言模型的预训练以及基于transformer架构的较小模型的发展，适用于文本分类、机器翻译、情感分析等多种NLP任务。

查看Matina

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。