Università della Svizzera italiana 发布 MSMGenderBias 数据集, 应用在 性别偏见检测、公平性度量 领域

Università della Svizzera italiana 本次发布的数据集 MSMGenderBias, MSMGenderBias是一个公开可用的数据集，包含MS MARCO Passage Ranking集合中一部分文档的性别偏见标注。该数据集旨在促进对性别偏见检测和测量的研究，特别是利用大型语言模型（LLMs）来检测和衡量性别偏见。数据集的创建基于LLM驱动的性别偏见检测方法和新的性别公平度度量标准Class-wise Weighted Exposure（CWEx）。通过整合LLM驱动的偏见检测、改进的公平度度量标准和性别偏见标注，该数据集提供了一个更强大的框架，用于分析和减轻信息检索系统中的偏见。

查看MSMGenderBias

README 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。