Sharif University of Technology 发布 Corpesia, Pairsia-sup, Pairsia-unsup 数据集, 应用在 波斯语NLP、文本嵌入 领域

Sharif University of Technology 本次发布的数据集 Corpesia, Pairsia-sup, Pairsia-unsup, 本文介绍了三个新的数据集：Corpesia、Pairsia-sup和Pairsia-unsup，这些数据集旨在支持监督和无监督的训练场景。Corpesia数据集包含来自46个网站、21个广泛主题的文本，包含超过110亿个tokens。Pairsia-unsup数据集包含50万个文本对，经过过滤后精简为500万个高质量对。Pairsia-sup数据集包含130万个监督实例，旨在支持多样化的NLP任务。这些数据集的创建是为了训练一种新的波斯文本嵌入模型Hakim，该模型在FaMTEB基准测试中取得了显著的性能提升，特别是在聊天机器人和检索增强生成(RAG)系统中表现突出。

查看Corpesia, Pairsia-sup, Pairsia-unsup

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。