信息与通信技术国家研究所 发布 博客与问答网站规范化语料库（BQNC） 数据集, 应用在 用户生成文本、形态分析与规范化 领域

信息与通信技术国家研究所 本次发布的数据集 博客与问答网站规范化语料库（BQNC）, 博客与问答网站规范化语料库（BQNC）是由信息与通信技术国家研究所和奈良科学技术研究所共同创建的公开日本用户生成文本（UGT）语料库。该数据集包含929个句子，注释了形态和规范化信息，以及频繁出现的UGT特定现象的类别信息。BQNC旨在为UGT的形态分析（MA）和词汇规范化（LN）系统的评估和比较提供挑战性的基准。数据集的创建过程遵循了与现有代表性语料库兼容的标准，并详细评估了UGT特定问题。BQNC的应用领域包括UGT的MA和LN研究，旨在解决现有系统在非通用词和非标准形式上的性能问题。

查看博客与问答网站规范化语料库（BQNC）

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。