洛桑联邦理工学院 (EPFL) 发布 Nunchi-Bench 数据集, 应用在 自然语言处理、跨文化评估 领域

洛桑联邦理工学院 (EPFL) 本次发布的数据集 Nunchi-Bench, Nunchi-Bench 是一个用于评估大型语言模型 (LLMs) 文化理解和推理能力的基准数据集，专注于韩国的迷信。数据集包含 247 个问题，涵盖了 31 个主题，评估了模型对韩国迷信的事实知识、文化适宜性建议和情境解释能力。数据集包括三种类型的任务：多项选择题 (MCQs) 评估对韩国迷信的事实知识；陷阱问题评估模型在文化敏感情境中提供适宜建议的能力；解释问题检验模型是否能够从社交互动中推断文化意义。Nunchi-Bench 同时提供韩文和英文版本，以促进多语言模型的评估。此外，对于陷阱和解释任务，还提供了明确指定或省略韩国文化背景的版本。该数据集旨在帮助研究人员评估和改进 LLMs 在跨文化环境中的表现，特别是在处理文化情境时。

查看Nunchi-Bench

README 内容： 

关于 洛桑联邦理工学院 (EPFL) , 洛桑联邦理工学院（École Polytechnique Fédérale de Lausanne，简称EPFL）是一所世界顶尖的工程与科技大学，位于瑞士洛桑，是欧洲最有声望的科研机构之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。