Peking University 发布 People’s Daily corpus 数据集, 应用在 自然语言处理、语料库 领域

Peking University 本次发布的数据集 People’s Daily corpus, 该数据集是从1992年至1998年的人民日报中提取的语料库，用于评估拼音转汉字转换模型。该测试集包含2,000个最大输入单元（MIUs），并且在此语料库上生成了预训练的词嵌入。作为一个标准的语料库，它被广泛用于设定拼音转汉字转换任务的基准。

查看People’s Daily corpus

README 内容： 

关于 Peking University , 北京大学是中国最早的国立综合性大学，享有“千年学府”的美誉。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。