宾夕法尼亚州立大学 发布 FairCode 数据集, 应用在 代码生成、公平性评估 领域

宾夕法尼亚州立大学 本次发布的数据集 FairCode, FairCode是由宾夕法尼亚州立大学和南加州大学的研究团队开发的一个基准数据集，旨在评估大型语言模型（LLMs）在代码生成任务中的社会偏见。该数据集包含两个主要任务：函数实现和测试用例生成，涵盖了从招聘、大学录取到医疗治疗等多个现实场景。数据集通过多样化的敏感属性（如性别、种族、年龄等）来评估模型是否存在偏见。FairCode的创建过程包括从现实世界统计数据中提取场景，并使用GPT-4o生成非敏感属性。该数据集的应用领域主要集中在代码生成模型的公平性评估，旨在解决LLMs在生成代码时可能存在的社会偏见问题。

查看FairCode

README 内容： 

关于 宾夕法尼亚州立大学 , 宾夕法尼亚州立大学（Pennsylvania State University），简称Penn State或PSU，创建于1855年，是美国一所著名的公立研究型大学。该校位于美国宾夕法尼亚州，拥有多个校区，主校区位于大学公园（University Park）。宾夕法尼亚州立大学是美国大学协会（AAU）的成员之一，以其工程、商科、地球科学、农业科学等领域的教育和研究而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。