孟加拉国陆军国际科技大学 (BAIUST) 发布 Bangla Punctuation Restoration Dataset 数据集, 应用在 自然语言处理、标点符号恢复 领域

孟加拉国陆军国际科技大学 (BAIUST) 本次发布的数据集 Bangla Punctuation Restoration Dataset, 本研究创建了一个包含孟加拉语文本的大型、多样化的训练语料库，用于自动恢复孟加拉语文本中的标点符号。该数据集包括来自不同文本领域的四个标点符号（句号、逗号、问号和感叹号）的预测。为了解决注释资源稀缺的问题，我们构建了一个大型、多样化的训练语料库，并应用了数据增强技术。我们的最佳模型在新闻测试集上实现了97.1%的准确率，在参考集上实现了91.2%的准确率，在ASR集上实现了90.2%的准确率。结果表明，模型在参考和ASR转录本上具有强大的泛化能力，证明了模型在实际世界、嘈杂场景中的有效性。

查看Bangla Punctuation Restoration Dataset

README 内容： 

关于 孟加拉国陆军国际科技大学 (BAIUST) , -

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。