横滨国立大学 发布 JAPAGEN 数据集, 应用在 日语NLP、数据生成 领域

横滨国立大学 本次发布的数据集 JAPAGEN, JAPAGEN是一个基于大型语言模型（LLM）生成的日语训练数据集，旨在支持少样本和零样本学习场景下的日语自然语言处理任务。该数据集由横滨国立大学、野村综合研究所和Retrieva公司合作创建，涵盖了文本分类、自然语言推理、语义文本相似性等多个任务。数据集的生成过程利用了LLM的强大生成能力，结合任务特定的知识辅助生成（KADG）方法，以提高生成数据的质量和多样性。JAPAGEN的应用领域主要集中在日语NLP任务中，旨在解决数据稀缺和高成本标注的问题，提升模型在低资源语言环境下的表现。

查看JAPAGEN

关于 横滨国立大学 , 横滨国立大学是位于日本横滨市的一所国立大学，成立于1949年，提供包括工程、经济学、环境信息学等多个领域的教育与研究。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。