随着大视觉语言模型(LVLM)在智能交互、内容生成、行业决策等场景的规模化落地,模型记忆的可控性、隐私合规性已经成为AI治理领域的核心议题。按照全球各地区数据保护法规中“被遗忘权”的相关要求,AI服务商需具备定向删除模型中特定敏感信息的能力,但长期以来,机器遗忘领域缺乏覆盖多模态场景的标准化评估基准,不同算法的遗忘效果难以横向对比,多跳推理场景下的“假遗忘”问题也难以被有效识别,制约了隐私增强AI技术的落地迭代。
2026年5月5日,中央大学联合KT正式发布多模态记忆基准数据集ReMem并首发于arXiv,旨在破解大视觉语言模型在遗忘学习任务中基础记忆阶段的失效痛点。
据介绍,ReMem数据集共包含100条虚构身份的全方位属性信息,覆盖姓名、职业、医疗记录等多个维度,每条身份分别关联100组问答对(其中单跳问题占比70%、多跳推理问题占比30%)以及100张多样化视觉图像,所有文本描述由Gemini 2.5生成,多视角图像则通过Nano Banana工具合成,最大程度避免了真实数据的隐私泄露风险。
该数据集的核心创新性体现在三大设计上:一是通过结构化的数据规模扩展,覆盖了身份属性的多维度关联关系;二是采用推理感知的QA架构,可验证模型是否建立了可推理的参数化记忆而非简单的模式匹配;三是引入了高多样性的视觉上下文,填补了此前同类数据集仅覆盖单模态文本记忆的空白。三重设计共同保障了评估结果的严谨性,可有效识别遗忘算法在多模态场景下的“假遗忘”“记忆残留”等问题。
从行业应用来看,ReMem数据集可支撑多个领域的技术研发:在机器遗忘研究领域,研究人员可依托该数据集测试不同遗忘算法的有效性,对比定向删除特定记忆后模型的通用推理能力保留水平;在多模态大模型研发环节,该数据集可作为基准工具,评估LVLM的记忆准确性、抗混淆能力;在AI合规治理场景中,企业可基于该数据集搭建自动化评估体系,验证大模型响应用户遗忘请求的合规性,为满足数据合规要求提供技术支撑。作为AI基础数据要素领域的垂直类基准数据集,ReMem的发布进一步完善了机器遗忘领域的评估工具体系,对推动多模态大模型的隐私合规技术迭代、加速隐私增强AI技术的落地应用具有重要的行业价值。查看ReMem





_1769672084863.jpg)