圣加仑大学 发布 MINWIKISPLIT 数据集, 应用在 自然语言处理、句子分割 领域

圣加仑大学 本次发布的数据集 MINWIKISPLIT, MINWIKISPLIT是一个由圣加仑大学创建的大型句子分割数据集，包含203,000对复杂的源句及其简化的目标句。该数据集通过将每个输入句子分解为一系列最小命题，即每个句子都是自包含的、无法进一步分解的语义单元，来简化复杂的语言结构。创建过程中，使用了35条手工编写的转换规则来分解各种语言结构，并通过依赖解析和词性标注的启发式方法来保证输出质量。该数据集主要用于训练自然语言处理模型，以改善下游语义应用的性能，特别是在处理复杂句子结构时的效率和准确性。

查看MINWIKISPLIT

README 内容： 

关于 圣加仑大学 , 圣加仑大学（University of St. Gallen）是位于瑞士圣加仑的一所著名大学，专注于商业、经济、法律、社会科学和国际事务的研究与教育。该校以其卓越的商业管理课程和国际化的学术环境而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。