Shopee 发布 Compass-v2 数据集, 应用在 自然语言处理、电子商务 领域

Shopee 本次发布的数据集 Compass-v2, Compass-v2数据集是由Shopee LLM Team团队构建的，包含12万亿tokens的高质量、多样化的语料库，特别关注东南亚语言和电子商务领域。数据来源于多样化的语言和文档类型，包括主流语言和东南亚地区语言，以及与电子商务相关的内部Shopee数据和合成数据。该数据集针对低资源语言和电子商务领域进行了定制化处理，保证了数据的质量和多样性，适用于提升模型在多语言和电子商务任务中的性能。

查看Compass-v2

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。