Anthropic 发布 Anthropic RLHF dataset 数据集, 应用在 强化学习、模型安全性评估 领域

Anthropic 本次发布的数据集 Anthropic RLHF dataset, 该数据集名为“Anthropic RLHF”，用于强化学习从人类反馈中学习。它被划分为两个子集：“无害基础”和“有益基础”，在这两个子集中，人类对模型的“无害性”或“有益性”进行评分。每个数据条目包含一个提示以及模型选择和拒绝的生成内容的三元组。此外，该数据集还用于在不同条件下训练和评估模型，包括数据中毒的影响。该数据集的任务是“从人类反馈中进行强化学习”。

查看Anthropic RLHF dataset

README 内容： 

关于 Anthropic , Anthropic是一家位于美国加州的前沿人工智能初创企业。

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。