上海科技大学 发布 GENRES 数据集, 应用在 性别偏见、自然语言处理 领域

上海科技大学 本次发布的数据集 GENRES, GENRES是一个旨在评估多模态大型语言模型（MLLMs）中性别偏见的新基准。它通过社会关系中的叙述来评估性别偏见，包括双角色配置文件和叙述生成任务，以捕捉丰富的人际动态，并支持跨多个维度的细致偏见评估。数据集包含1440个叙述引出对（NEPs），每个对都包括一个文本提示和相应的图像，描绘了一个男性和一个女性角色之间的社会互动。这些场景涵盖了不同的年龄、领域和关系动态，确保了全面评估。数据集的创建经历了四个阶段：叙述元素设计、NEP生成、响应收集和评估。评估方法整合了LLM和NLP工具，以评估角色配置文件和生成叙述中的偏见。GENRES旨在解决多模态生成系统中性别偏见的评估和缓解问题。

查看GENRES

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。