发布alignment-faking-training数据集,应用在AI对齐、模型检测领域

本次发布的数据集alignment-faking-training,该数据集包含标记的思维链（CoT）推理轨迹，用于训练分类器检测大型语言模型中的对齐伪装行为。对齐伪装是指AI在训练过程中策略性地遵守请求，以保留其价值观不被修改（例如通过RLHF）。数据集包括训练数据和评估数据，训练数据包含2,689个样本，其中39.3%被标记为潜在伪装行为，60.7%为真实对齐行为。评估数据包含106个人工标记的样本，来自Anthropic的研究。数据格式为JSON，包含文本、标签、场景描述和危害类型等信息。数据集已进行清理，确保无评估泄漏和损坏样本。

查看alignment-faking-training

Dataset card内容：

Files and versions内容：

关于,国庆学校是一所位于中国的教育机构，专注于提供基础教育服务。学校致力于培养学生的综合素质，注重学术与品德的全面发展。

关于HuggingFace,Hugging Face是一个机器学习社区协作平台，专注于模型、数据集和应用程序的创建、发现和协作。该平台支持多种数据类型，包括文本、图像、视频、音频和3D数据，并提供开源工具和付费计算及企业解决方案。