中国民族大学 发布 WenyanBENCH 数据集, 应用在 古汉语处理、自然语言处理 领域

中国民族大学 本次发布的数据集 WenyanBENCH, WenyanBENCH是一个专门为评估古汉语语言处理模型而设计的基准数据集。该数据集包含了古汉语的多种任务，如标点、词性标注、命名实体识别、翻译等，总计有25,953条数据。WenyanBENCH数据集由多个任务组成，包括14种标点符号的分类、17类古汉语词性的标注、4类命名实体的识别。数据集的来源与WenyanGPT模型的指令微调数据相同，并经过去重和人工及语言模型验证。该数据集旨在解决古汉语处理任务中缺乏标准化评估基准的问题，为研究者提供一个可靠的性能评估工具。

查看WenyanBENCH

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。