新里斯本大学发布AMALIA数据集,应用在葡萄牙语、自然语言处理领域

新里斯本大学本次发布的数据集AMALIA,AMALIA数据集是一个专注于欧洲葡萄牙语（pt-PT）的大型语言模型数据集，由新里斯本大学·科学技术学院、NOVA LINCS等机构联合创建。数据集包含5.8亿个tokens，主要来源于葡萄牙网络档案Arquivo.pt，经过严格的URL过滤、语言识别、去重和质量分类处理。数据集创建过程包括数据收集、过滤、去重和质量分类，最终形成高、中、低三个质量等级的数据。该数据集旨在解决欧洲葡萄牙语在大型语言模型中的不足问题，应用于自然语言处理领域，特别是语言模型训练和评估。

查看AMALIA

关于新里斯本大学,新里斯本大学（Universidade Nova de Lisboa）是葡萄牙里斯本的一所公立大学，成立于1973年，是葡萄牙最年轻的大学之一。该校以创新和国际化为特色，提供广泛的本科、硕士和博士课程，涵盖人文、社会科学、自然科学、工程、医学等多个领域。

关于arXiv,全球最大的预印本学术论文数据库，涵盖物理、数学、计算机科学等多个学科领域。