L3Cube Labs 发布 L3Cube-MahaParaphrase 数据集, 应用在 自然语言处理、语义理解 领域

L3Cube Labs 本次发布的数据集 L3Cube-MahaParaphrase, L3Cube-MahaParaphrase数据集是一个高质量的马拉地语释义检测语料库，由L3Cube Labs创建，包含8000个句子对，每个句子对都由人类专家标注为释义(P)或非释义(NP)。数据集的内容来自MahaCorpus，涵盖了广泛的主题，包括新闻、情感和仇恨言论。数据集的创建过程分为三个阶段：从MahaCorpus收集句子，使用余弦相似度和回译方法对句子进行分类，然后由四位马拉地语母语者进行人工验证。最后，根据词重叠程度将句子分为五个桶。数据集的应用领域包括问答、风格转换、语义解析和数据增强等自然语言处理任务。

查看L3Cube-MahaParaphrase

Dataset card 内容： 

Files and versions 内容： 

关于 L3Cube Labs , -_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。