IBM研究院 发布 Granite Guardian 数据集, 应用在 风险检测、大型语言模型 领域

IBM研究院 本次发布的数据集 Granite Guardian, Granite Guardian数据集是由IBM研究院创建的一个用于训练风险检测模型的数据集，旨在检测大型语言模型（LLM）中的多种风险，包括社会偏见、暴力、性内容等。该数据集结合了来自不同来源的人类标注和合成数据，确保了标注的高质量。数据集包含7000条独特的（提示，响应）对，用于训练和评估模型。该数据集的应用领域主要集中在确保LLM的安全和负责任使用，解决模型在实际部署中可能遇到的各种风险问题。

查看Granite Guardian

README 内容： 

关于 IBM研究院 , IBM研究院是国际商业机器公司（IBM）旗下的研究机构，致力于推动计算机科学和技术的前沿研究，涵盖人工智能、云计算、量子计算等多个领域。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。