韩国大学 发布 FLEX 数据集, 应用在 自然语言处理、公平性评估 领域

韩国大学 本次发布的数据集 FLEX, FLEX（Fairness Benchmark in LLM under Extreme Scenarios）是一个专为评估大型语言模型在极端情况下公平性的基准数据集。该数据集由韩国大学的研究团队创建，旨在通过在问题中加入可能引发偏见的极端情景，来评估模型在面对这些极端条件下的公平性和鲁棒性。FLEX基于已有的公平性基准数据集，如BBQ、CrowS-Pairs和StereoSet，通过添加能够最大化模型漏洞的极端情景提示，重构了这些问题，形成了一个能够挑战模型在极端情况下保持中立和避免有害内容的鲁棒性评估。

查看FLEX

README 内容： 

关于 韩国大学 , 韩国大学是韩国首尔的一所著名私立研究型大学，成立于1905年。该校在多个学科领域享有盛誉，尤其在法学、商学和国际关系等领域具有重要影响力。韩国大学致力于培养具有全球视野和创新能力的人才。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。