阿姆斯特丹大学 发布 MBBQ (Multilingual Bias Benchmark for Question-answering) 数据集, 应用在 多语言偏见评估、自然语言处理 领域

阿姆斯特丹大学 本次发布的数据集 MBBQ (Multilingual Bias Benchmark for Question-answering), MBBQ是由逻辑、语言和计算研究所与认知语言和科学中心合作创建的多语言数据集，旨在评估和比较不同语言中生成大型语言模型（LLMs）的刻板印象。该数据集精心翻译自英语BBQ数据集，并扩展到荷兰语、西班牙语和土耳其语，涵盖了多种社会类别如年龄、社会经济地位和性别认同等。MBBQ的创建过程涉及对原始模板的筛选和本地化调整，确保所选刻板印象在所有目标语言中普遍存在。该数据集的应用领域主要集中在跨语言模型偏见的研究，旨在通过精确控制文化差异和模型准确性，揭示不同语言中模型的偏见行为，从而推动多语言环境下的偏见研究及跨语言去偏见技术的开发。

查看MBBQ (Multilingual Bias Benchmark for Question-answering)

README 内容： 

关于 阿姆斯特丹大学 , 阿姆斯特丹大学是荷兰最古老、最大的综合性大学之一，成立于1632年，位于荷兰首都阿姆斯特丹。该校在多个学科领域享有国际声誉，尤其在社会科学、人文学科和自然科学方面表现突出。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。