京都大学 发布 WAON 数据集, 应用在 日语文本处理、视觉语言模型 领域

京都大学 本次发布的数据集 WAON, WAON是一个大规模、高质量的日语文本-图像对数据集，包含约1.55亿个示例，从Common Crawl收集。数据集构建流程采用了各种技术，包括过滤和去重，以提高数据质量。WAON旨在有效提升模型在日语文本和文化内容上的性能。数据集构建过程涉及从WARC文件中提取日文HTML文档，进行语言识别，提取图像和文本对，去重，下载图像，进行图像质量过滤，NSFW过滤，基于pHash的去重，以及基于SigLIP得分的过滤。数据集的构建旨在提高模型在日文文化内容上的性能，并为视觉语言模型的发展提供支持。

查看WAON

README 内容： 

关于 京都大学 , 京都大学是位于日本京都的一所综合性大学，是日本及亚洲的顶尖学府之一，有着悠久的历史和卓越的学术研究传统。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。