马斯特里赫特大学 发布 荷兰 CrowS-Pairs 数据集 数据集, 应用在 语言模型评估、社会偏见分析 领域

马斯特里赫特大学 本次发布的数据集 荷兰 CrowS-Pairs 数据集, 荷兰 CrowS-Pairs 数据集是一个用于测量荷兰语言模型中社会偏见的数据集。该数据集包含 1463 个句子对，涵盖了 9 个类别的偏见，如性取向、性别和残疾。句子对由对比句子组成，其中一个句子涉及弱势群体，另一个句子涉及优势群体。使用荷兰 CrowS-Pairs 数据集，我们发现各种语言模型（BERTje、RobBERT、多语言 BERT、GEITje 和 Mistral-7B）在各种偏见类别中表现出明显的偏见。此外，还发现为语言模型分配角色会改变其表现出的偏见程度。这些发现突出了跨语言和情境偏见的变异性，表明文化和语言因素在塑造模型偏见方面发挥着重要作用。

查看荷兰 CrowS-Pairs 数据集

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。