爱丁堡大学 发布 EuroGEST 数据集, 应用在 性别刻板印象、自然语言处理 领域

爱丁堡大学 本次发布的数据集 EuroGEST, EuroGEST是一个包含71000个句子的数据集，这些句子与16个性别刻板印象相关联，覆盖了30种欧洲语言。该数据集扩展了现有的专家信息基准，涵盖了16个性别刻板印象，并使用翻译工具、质量评估指标和形态学启发式方法进行了扩展。人工评估证实，我们的数据生成方法在翻译和性别标签的准确性方面取得了高精度。我们使用EuroGEST评估了来自六个模型家族的24个多语言语言模型，结果表明，所有模型中所有语言中最强烈的刻板印象是女性美丽、富有同情心、整洁，而男性则是领导者、坚强、坚韧和专业。我们还表明，更大的模型编码性别刻板印象更强烈，而指令微调并不能始终如一地减少性别刻板印象。

查看EuroGEST

关于 爱丁堡大学 , 爱丁堡大学是位于英国苏格兰爱丁堡的一所公立研究型大学，是苏格兰四所古老的大学之一，也是英语世界中第六古老的高等教育机构。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。