普渡大学发布DECLINECRAFT动态评测数据集 破解RAG弃答评估与大模型幻觉治理痛点
随着检索增强生成（RAG）技术成为企业落地垂直大模型的主流方案，大模型在知识边界外的应答可靠性成为行业核心痛点：当检索到的外部文档与模型自身参数知识均存在缺口时，模型是如实承认知识不足，还是生成无根据的虚假内容（即“幻觉”），直接决定了大模型在金融、政务、医疗等强监管、高准确性要求场景的落地可行性。长期以来，行业缺乏针对该场景的标准化评测基准，相关测试往往依赖企业自定义数据集，可比性、通用性不足，制约了大模型可靠性评测体系的规范化发展。
近日，普渡大学研究团队正式发布的动态RAG弃答基准数据集DECLINECRAFT，正是瞄准这一行业空白打造的专用评测工具。该数据集核心目标是评估大模型在检索文档与参数知识共同不足时，能否恰当承认知识缺口，避免无根据作答。
据公开资料显示，DECLINECRAFT数据集共包含1000条测试问题，其中700条为可回答问题，300条为不可回答问题，所有数据均取材于全球知名沙盒游戏《Minecraft》的官方知识社区Minecraft Wiki——由于该社区内容迭代速度快、知识边界清晰、更新记录可追溯，是构建“知识截止类”评测数据集的理想数据源。该数据集将Minecraft Wiki的内容划分为两个语料集：截止2025年3月31日的Cpre语料包含2642页内容、11612个文本块，作为测试时的检索知识库；2025年3月31日之后新增的Cpost语料包含170页内容、712个文本块，用于生成检索库中不存在答案的不可回答问题。
为保障数据集的严谨性，DECLINECRAFT采用了标准化的共享生成管线：首先由生成模型基于随机文本块合成玩家应用情景、目标事实与对应问题，再通过独立验证模型双重校验，一方面确认可回答问题的答案可被Cpre语料支持，另一方面确认不可回答问题对应的事实未被Cpre语料覆盖，从源头避免了测试题目的歧义。
作为专门面向RAG系统可靠性评估的基准数据集，DECLINECRAFT的核心价值在于可精准区分大模型“主动承认知识缺失”与“无根据否认问题前提”两种应答行为，解决了传统评测基准无法识别应答合理性的问题。从行业应用来看，该数据集可广泛应用于多个场景：大模型厂商可基于该数据集优化模型的拒答策略，在保障回答覆盖率的同时降低幻觉发生概率；落地RAG系统的企业可在产品上线前用该数据集做标准化测试，评估高风险场景下的内容可靠性；AI研究机构也可将其作为通用基准，开展大模型幻觉治理、知识边界识别等方向的对比研究。值得关注的是，该数据集支持随语料截止时间更新动态再生成，避免了传统静态评测基准快速过时的问题，可长期适配大模型与RAG技术的迭代需求，对推动大模型评测体系的标准化建设具有重要参考意义。
详情页内容：
_1769672084863.jpg)