北京大学 发布 BiasLens 数据集, 应用在 大型语言模型、社会偏见检测 领域

北京大学 本次发布的数据集 BiasLens, BiasLens数据集由北京大学、南洋理工大学等机构的研究人员创建，旨在系统地检测大型语言模型（LLMs）在角色扮演场景中的社会偏见。该数据集包含33,000个问题，这些问题基于11个不同的社会属性生成，涵盖了多种问题格式，如Yes/No、多选和开放式问题。数据集的创建过程利用了LLMs生成角色和问题，并通过规则和LLM辅助策略识别偏见响应。BiasLens数据集主要应用于评估和改进LLMs在实际应用中的公平性，特别是在涉及角色扮演的任务中，旨在解决模型输出中的偏见问题。

查看BiasLens

关于 北京大学 , 北京大学是中国的一所著名综合性大学，位于北京市，是中国最早建立的现代国立大学之一，也是中国最高学府之一。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。