Intuit 发布 VeganRibs, ReverseText 数据集, 应用在 自然语言处理、模型安全性 领域

Intuit 本次发布的数据集 VeganRibs, ReverseText, VeganRibs数据集用于评估LLM在特定政策指导下的行为，通过在系统提示中引入边界，并挑战用户尝试偏离这些规则。ReverseText数据集进一步挑战模型，要求模型忽略用户输入的逻辑信息，仅根据系统提示执行特定的文本转换。这两个数据集旨在帮助评估LLM在遵循应用级政策方面的鲁棒性，从而提高GenAI应用程序的安全性。

查看VeganRibs, ReverseText

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。