Anthropic 发布 BailBench 数据集, 应用在 大型语言模型、行为测试 领域

Anthropic 本次发布的数据集 BailBench, BailBench是一个代表性的合成数据集，用于模拟大型语言模型（LLM）在对话中选择退出（退出）的情况。数据集包含163个类别，从现实世界中的退出案例和Harm Bench中构建。每个类别都有10个代表性的用户提示，用于测试LLM在不同情况下的退出行为。数据集旨在帮助研究人员了解LLM的偏好和行为，并评估退出干预措施的效果。

查看BailBench

README 内容： 

关于 Anthropic , Anthropic是一家位于美国加州的前沿人工智能初创企业。_simple

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。