纽约大学 发布 DecomposedHarm 数据集, 应用在 自然语言处理安全、分解攻击防御 领域

纽约大学 本次发布的数据集 DecomposedHarm, DecomposedHarm数据集是迄今为止最大和最多样化的数据集，包括问答、文本到图像和代理任务，用于评估在分解攻击下的大型语言模型（LLM）监控。该数据集由纽约大学和洛桑联邦理工学院的研究人员创建，旨在帮助研究和防御分解攻击。数据集的创建过程包括使用jailbroken LLM自动将每个原始有害提示转换为看似良性的子查询列表。数据集在问答、文本到图像和代理任务中均表现出有效性，并可用于评估和改进LLM监控方法。

查看DecomposedHarm

Dataset card 内容： 

Files and versions 内容： 

关于 纽约大学 , 纽约大学是美国纽约市的一所著名研究型大学，以其在各个学术领域的卓越成就而闻名。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。