发布 JGLUE 数据集, 应用在 自然语言处理、跨语言迁移 领域

本次发布的数据集 JGLUE, 该数据集名为JGLUE，旨在评估多语种大型语言模型（LLM）在英语自然语言理解任务及其相应日语任务之间的跨语言迁移性能。数据集包含了多种指令模板，以确保对每个任务进行公平的评价。此外，数据集中还包含了用于限制输出格式的正则表达式，并旨在评估模型在零样本和微调设置下的性能。该数据集所针对的任务是自然语言理解（NLU）。

查看JGLUE

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。