雅典国立技术大学 本次发布的数据集 GAMBIT+, GAMBIT+是一个大规模挑战集,旨在评估机器翻译质量估计指标中性别偏见的程度。该数据集基于GAMBIT语料库,涵盖了英语文本中性别不明确的职业,并将其扩展到了三个没有性别或自然性别的源语言和十一个具有语法性别的目标语言,形成了33种源-目标语言对。每个源文本都与两个仅在职业术语的语法性别上有所不同的目标版本相匹配(男性与女性),所有相关的语法元素都进行了相应的调整。一个无偏见的QE指标应该对两个版本赋予相等或几乎相等的分数。数据集的规模、广度和完全并行设计,使得在所有语言中相同的一组文本都进行了对齐,从而能够对职业进行细粒度的偏见分析,并在整个数据集上进行系统性的比较。
Dataset card 内容:
Files and versions 内容:
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库,涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。





_1769672084863.jpg)