杭州君同未来科技有限责任公司 本次登记的数据知识产权 场景理解对抗攻击训练数据, 通过场景感知驱动的上下文解析，场景理解对抗攻击训练数据被设计为具有高度针对性和语义复杂性的训练集。这些数据专注于通过扰动视觉与语言文本描述之间的协同关系，从而生成具有挑战性的样本，以测试和提升多模态模型对场景理解的鲁棒性和安全性。1.数据来源：原始数据来源于开放VQA问题数据集。 2.数据预处理：对图像和对应的文本数据进行重缩放和调整。通过人工对图像的场景特征进行细粒度分析，结合与场景语义紧密相关的描述性文本，构建高质量的图文配对样本。 3.对抗性替换词筛选：使用自动化和人工结合的方式对文本进行筛选，构建筛选词库，遍历所有文本数据，略过筛选词库后用近义词替换文本。将替换后的文本按照特定指标进行重排序，选择高得分的替换文本以指引后续对抗图像的生成。 4.对抗图像的对抗性生成：通过对图像特征的精确分析，在原始图像基础上添加局部扰动或修改关键区域（如物体边界等），确保生成的对抗图像能够欺骗深度学习模型的分类或理解能力。利用对抗生成网络或基于梯度的优化方法生成对抗图像，同时保持视觉上的自然性，使其难以被人工分辨。 5.扰动添加：在生成的对抗图像中，注入微小但有效的像素级扰动，使得模型在提取图像特征时发生偏移。这些扰动通过优化算法生成，旨在最大化模型的误分类率或干扰语义理解。具体方法包括使用对抗性梯度引导的扰动或针对性区域掩码对目标物体的颜色、纹理等进行细微调整。扰动的幅度通过控制参数限制，以确保其肉眼不可察觉。 6.深度学习架构选择：使用双向LSTM、Transformer、GPT架构等模型，对图像和文本对进行建模。特定场景下采用预训练大语言模型微调。 7.模型训练与评估：在标注数据集上训练深度学习模型，采用对比学习和多任务学习的方法，让模型学习识别攻击性文本特征和生成的上下文相关攻击。通过修改成功率、攻击成功率、回答分数、损失函数等指标评估模型性能。修改成功率是指通过修改原始文本生成的攻击性文本能够成功欺骗目标模型（使其产生错误判断）的比例，用于衡量模型生成的对抗性样本或修改后的文本在欺骗目标模型方面的有效性；攻击成功率是衡量对抗攻击是否成功欺骗目标模型的比例，即生成的攻击性文本是否使得模型的预测发生错误；回答分数指的是采用BLEU指标来衡量回答质量；损失函数用于衡量模型预测输出与真实标签之间的误差，在训练过程中通过优化损失来提高模型性能。 8.超参数调优：优化训练中的关键参数，如学习率、梯度截断值、正则化参数、批量大小等，以提升模型在复杂任务上的表现。 9.模型验证与优化：使用独立的测试集和对抗样本测试集，验证模型的稳定性和鲁棒性，并根据性能结果对模型进行微调，确保在实际应用场景中的有效性。
登记内容：
关于 杭州君同未来科技有限责任公司 , 杭州君同未来科技有限责任公司是一家专注于大数据处理与分析的高新技术企业，致力于为客户提供智能化的数据解决方案，助力企业数字化转型。
关于 浙江省数据知识产权登记平台 , 浙江省数据知识产权登记平台是浙江省市场监督管理局（省知识产权局）联合多个部门开发建设的数字化应用，属于‘浙江知识产权在线’的应用场景之一。该平台旨在提供数据知识产权登记公共服务，通过区块链存证或数据保全公证，对数据知识产权进行登记，颁发登记证书，用于数据流通交易、收益分配和权益保护。
_1769672084863.jpg)