当前，大语言模型（LLM）、视觉语言多模态模型（VLM）的迭代速度持续加快，行业对模型性能的评估已经从单纯的结果正确率，延伸到对推理路径合理性、错误模式溯源、思维链可靠性的深层需求，但此前业内缺乏统一的、覆盖多模型多基准的细粒度推理行为标注数据集，成为制约模型可解释性提升、推理能力优化的核心瓶颈之一。作为卡内基梅隆大学（CMU）语言技术研究所（LTI）旗下专注于NLP与多模态AI研究的顶尖学术团队，NeuLab本次发布的behavioral-lift（行为提升标注）数据集，正是针对这一行业痛点推出的开源公共数据资源。该数据集包含15282条对LLM和VLM推理轨迹的行为标注，覆盖15个主流模型和6个行业通用基准测试，每条记录包含模型响应、基准元数据、正确性判断以及JSON编码的行为标注，涵盖推理行为、失败模式和恢复信号三类核心信息。
值得关注的是，该数据集的统计结果首次明确揭示了思维训练与正确性之间的不匹配现象：当前行业普遍采用的思维训练模式虽然能够提升模型的自我纠正、假设测试和不确定性确认行为，但与输出正确性最相关的核心行为实际是信心校准、知识对齐和自我意识，这一发现也为大模型训练方向的优化提供了重要参考。
据介绍，该数据集分为LLM（8282条）和VLM（7000条）两个独立子集，每个子集包含不同模型和基准测试的对应数据，数据字段覆盖模型名称、训练类型、基准问题文本、正确答案、模型推理链、行为标注等全链路信息。其中行为标注分为推理质量、高级和元认知行为、推理类型、失败模式和总结指标五大类，VLM子集的标注还额外包含视觉基础组，可适配多模态模型的专项研究需求。
从应用场景来看，该数据集可广泛适配文本分类、问答等通用任务研究，尤其适合推理行为分析和模型评估类工作：在模型评估环节，研发团队可借助细粒度的行为标注，打破传统“唯结果论”的评估框架，精准定位模型推理过程中的逻辑跳步、幻觉生成、知识错配等问题；在模型训练环节，研究人员可基于标注的失败模式、恢复信号优化训练策略，重点强化与正确性强相关的核心行为训练，提升研发效率；针对VLM的专项标注，还可支撑多模态模型在图文理解、视觉推理、跨模态信息对齐等方向的研发，为智能座舱场景理解、多模态客服、智慧医疗影像分析等落地场景的模型优化提供数据支撑。作为当前业内少有的同时覆盖LLM、VLM两大主流模型品类的推理行为标注数据集，behavioral-lift的发布进一步丰富了AI研发领域的公共数据要素供给，对于推动大模型可解释性研究、构建科学的模型性能评估体系、加速通用人工智能技术落地具有重要的行业价值。
Dataset card内容：
Files and versions内容：
_1769672084863.jpg)