Araya 2AI Alignment Network 发布 ProcBench 数据集, 应用在 语言模型评估、AI对齐 领域

Araya 2AI Alignment Network 本次发布的数据集 ProcBench, ProcBench是由Araya 2AI Alignment Network创建的一个专门用于评估大型语言模型（LLMs）多步骤推理和遵循指令能力的基准数据集。该数据集包含23种不同类型的任务，共计5520个示例，任务设计简单但需要精确遵循多步骤指令。数据集的创建旨在通过提供明确的指令和问题，使模型能够通过遵循指令来解决问题，从而评估模型在复杂任务中的表现。ProcBench的应用领域包括推理、可解释AI、减少幻觉和AI对齐，旨在解决模型在严格遵循指令和多步骤推理中的局限性。

查看ProcBench

Dataset card 内容： 

Files and versions 内容： 

关于 arXiv , arXiv 是一个免费分发服务和开放获取的学术文章档案库，涵盖了物理学、数学、计算机科学、定量生物学、定量金融、统计学、电气工程和系统科学以及经济学等领域。该网站上的材料并未经过 arXiv 的同行评审。