KAIST 发布 Open Korean Historical Corpus 数据集, 应用在 历史语言学、自然语言处理 领域

KAIST 本次发布的数据集 Open Korean Historical Corpus, Open Korean Historical Corpus是一个跨越1300年历史，包含6种语言的开放许可数据集，包括韩国式汉字（Idu）和汉字-韩文混合脚本等代表性不高的书写系统。该语料库包含从7世纪到2025年的1800万份文档和50亿个tokens，来源广泛，从皇家秘书处日记到现代新闻文章。语料库为韩国历史语言学提供了基础资源，并可作为大型语言模型的预训练语料库，以提高其对现代韩文中的汉韩词汇以及古代书写的理解。

查看Open Korean Historical Corpus

关于 KAIST , 韩国科学技术院（KAIST）是韩国的一所研究型大学，以其在工程、计算机科学和自然科学领域的研究成果而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。