香港科技大学 发布 Indo4B-Plus 数据集, 应用在 自然语言处理、低资源语言 领域

香港科技大学 本次发布的数据集 Indo4B-Plus, Indo4B-Plus是一个包含印尼语、爪哇语和巽他语的大型预训练数据集，由香港科技大学等机构创建。该数据集主要用于自然语言生成模型的预训练，涵盖了超过36亿个单词，数据来源于维基百科和Common Crawl等。创建过程包括数据收集、预处理和平衡，旨在解决低资源语言的自然语言生成问题，特别是在印尼语、爪哇语和巽他语等广泛使用的语言中。

查看Indo4B-Plus

README 内容： 

关于 香港科技大学 , 香港科技大学（HKUST）是一所位于中国香港的国际化研究型大学，以其在科学研究和创新教育领域的卓越表现而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。