NAIST 发布 Translation and Geo-culture Question Datasets 数据集, 应用在 多语言模型评估、自然语言处理 领域

NAIST 本次发布的数据集 Translation and Geo-culture Question Datasets, 本数据集由翻译和地理文化领域的填空题组成，旨在评估潜在语言的一致性对多语言大型语言模型下游任务性能的影响。数据集包含2000个翻译任务和2000个地理文化任务的问题，适用于多语言模型。数据集的创建过程包括使用GPT-4o生成问题、过滤问题和筛选问题，以确保数据集的质量和一致性。数据集的应用领域是评估潜在语言的一致性对多语言大型语言模型下游任务性能的影响，旨在解决多语言模型推理稳定性的问题。

查看Translation and Geo-culture Question Datasets

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。