LINAGORA公司 发布 Lucie Training Dataset 数据集, 应用在 多语言文本处理、语言模型预训练 领域

LINAGORA公司 本次发布的数据集 Lucie Training Dataset, Lucie Training Dataset是一个由OpenLLM-France社区创建的多语言文本语料库集合，主要围绕法语构建，旨在减少大型语言模型预训练数据集中的英语中心偏见。该数据集不仅包含传统的网络数据源，还包括法国文化遗产文档，填补了现代数据集中的重要空白。数据集还包括支持其他欧洲语言的文档，如英语、西班牙语、德语和意大利语。该数据集在尊重数据生产者权利的同时，优先考虑开源数据，并尽可能减少受版权保护的素材。

查看Lucie Training Dataset

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。