KAIST 本次发布的数据集 Bias Benchmark for Generation (BBG), Bias Benchmark for Generation (BBG)是一个用于评估大型语言模型（LLM）在社会偏见方面的基准数据集，由KAIST的研究人员构建。该数据集基于英语和韩语的BBQ（Bias Benchmark for QA）数据集，通过替换故事情境中的人物描述为中性的占位符，来评估LLM在长篇故事生成中的偏见。BBG包含9个类别的232个模板和12个类别的286个模板，分别对应英语和韩语版本，共计120508个故事和问题对。该数据集旨在解决LLM在长篇生成中的社会偏见评估问题，推动公平的自然语言处理系统的发展。
查看Bias Benchmark for Generation (BBG)
关于 KAIST , KAIST，即韩国科学技术院，是韩国首尔附近的一所顶尖研究型大学，成立于1971年。KAIST以其在科学、工程和技术领域的卓越研究而闻名，尤其在人工智能、计算机科学和纳米技术方面具有领先地位。该校培养了大量科技领域的顶尖人才，对韩国的科技发展起到了重要推动作用。
关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。
_1769672084863.jpg)