苏黎世大学 发布 20min-XD 数据集, 应用在 自然语言处理、跨语言信息检索 领域

苏黎世大学 本次发布的数据集 20min-XD, 20min-XD数据集是一个包含约15,000篇瑞士新闻文章的德语-法语文档级可比语料库，来源于瑞士在线新闻媒体20 Minuten/20 minutes。该数据集覆盖了从2015年到2024年的新闻文章，基于语义相似性自动对齐。我们详细介绍了数据收集过程和对齐方法。此外，我们还提供了对语料库的定性和定量分析。最终的数据集展示了广泛的跨语言相似性，从近似翻译到松散相关的文章，使其对各种NLP应用和广泛的基于语言动机的研究具有价值。我们公开发布了文档和句子对齐版本的数据集以及用于描述实验的代码。

查看20min-XD

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。