马耳他大学人工智能系 发布 MELABenchv1 数据集, 应用在 自然语言处理、机器学习模型评估 领域

马耳他大学人工智能系 本次发布的数据集 MELABenchv1, MELABenchv1是一个用于评估大型语言模型在低资源语言马尔他语上的性能的基准数据集。它包含了11个判别性和生成性任务，旨在帮助研究人员评估和发展语言技术。数据集包含了55个公开可用的语言模型，包括不同大小的模型和不同的训练方法，如预训练和指令微调。通过对这些模型的评估，研究结果表明，在预训练和指令微调过程中接触马尔他语的模型在下游任务上表现更好。此外，该数据集还提供了几个相对较小的微调模型，这些模型在某些任务上的表现优于所有包含在该研究中的大型语言模型。

查看MELABenchv1

Dataset card 内容： 

Files and versions 内容： 

关于 马耳他大学人工智能系 , 马耳他大学是马耳他的国立大学，成立于1768年。其人工智能系专注于人工智能领域的研究与教育，是该校的重要学术部门。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。