天津大学 发布 CBBQ 数据集, 应用在 偏见分析、AI伦理 领域

天津大学 本次发布的数据集 CBBQ, CBBQ是由天津大学的研究团队通过人工与AI协作精心构建的中文偏见基准数据集，包含超过10万个问题，覆盖了中国文化和社会价值观相关的14个社会偏见维度。数据集的创建过程包括偏见识别、模糊上下文生成、AI辅助的清晰上下文生成以及人工审查与重组四个关键步骤。CBBQ旨在为大型语言模型提供一个全面且有效的测试平台，以评估和减少模型中的伦理风险，特别是在预部署阶段。此外，数据集还展示了模型在特定类别中表现出的偏见，如教育资格、疾病、残疾和外貌等，同时揭示了模型在一定程度上能够遵循指令进行道德自我修正的可能性。

查看CBBQ

README 内容： 

关于 天津大学 , 天津大学是中国的一所著名高等学府，位于天津市，是教育部直属的重点大学之一。学校历史悠久，学科门类齐全，尤其在工程技术和管理科学领域具有较强的实力和影响力。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。