2026年5月10日,HAUST-HNU大模型与安全联合研究团队第41期组会在线召开。本次组会主题是MP-Nav:增强针对多模态学习的数据投毒攻击和图像伪造帧内空间异常线索动态选择。会议由河南师范大学荆军昌副教授主持。
河南科技大学2024级硕士研究生付宇于会议中汇报了题为《MP-Nav: Enhancing Data Poisoning Attacks against Multimodal Learning》的研究,该研究针对现有多模态学习模型的数据投毒攻击存在随机性强、效率低下,投毒信号易被海量良性数据稀释、攻击成功率低的核心痛点,提出了即插即用的多模态投毒导航器增强框架。从概念级相似候选对筛选、实例级鲁棒样本甄选两大核心环节精准构建高效定向投毒策略,破解数据稀释效应,实现低成本、高隐蔽性的多模态数据投毒攻击。研究打造双维度智能筛选机制,先通过语义相似度计算锁定**易被模型混淆的概念关联组合,再基于鲁棒性排序筛选高代表性攻击实例,无需复杂策略调整即可适配现有AtoB、Shadowcast等主流投毒方法。在图文检索(TIR)、视觉问答(VQA)多类典型多模态任务上的实验验证表明,MP-NAV可显著提升投毒攻击成功率,同时让受攻击模型保持与干净模型相当的任务效用,攻击行为极难被察觉,充分揭示多模态模型的安全脆弱性,为构建针对性防御机制提供关键参考。

河南师范大学2025级硕士研究生胡天赐于会议中汇报了题为《Gradient-Aware Adaptive Meta-Prompt Learner for Generalizable Face Forgery Detection》的研究,该研究针对当前基于提示调优的视觉-语言模型在深度伪造检测中泛化能力不足、跨域性能退化,以及参数更新易受数据集特异性伪影干扰、陷入梯度冲突的核心痛点,提出了即插即用的梯度感知自适应元提示学习器(GAMP-Learner)增强框架。从方向共享梯度剪枝(DGPM)和自适应梯度校准(AdaGCM)两大核心环节精准构建高效通用的梯度优化策略,破解多源域数据联合训练中的域冲突效应,实现高泛化性、低过拟合风险的人脸伪造检测。研究打造双层级联智能优化机制,先在元学习内循环中通过“逻辑与”梯度对齐捕获跨域共享的元通用更新方向,再在外循环中基于余弦相似度量自适应校准查询集梯度,消除域间冲突,无需复杂结构调整即可无缝适配CoOp、CoCoOp等主流提示调优方法。同时,设计多粒度条件提示生成器(MGCP),融合多层视觉特征的内容与风格表征,生成实例级提示,引导模型聚焦细粒度伪造痕迹。在LOO、OVA、AVO三类跨域协议下的大量实验验证表明,GAMP-Learner可显著提升VLMs的跨域检测性能,在多个主流基准数据集上实现平均AUC提升超过5%,同时保持模型在源域内的表征能力不退化,充分揭示梯度感知元学习在扩展视觉-语言模型泛化边界方面的关键作用,为构建鲁棒通用的深度伪造鉴别体系提供重要技术路径。

交流讨论阶段,与会师生围绕MP-Nav与GAMP-Learner两项研究的创新亮点及与当前研究方向的内在关联展开深入交流,既针对投毒攻击中的双维度筛选机制(概念级相似候选对与实例级鲁棒样本甄选)、深度伪造检测中的梯度剪枝与自适应校准策略等关键技术细节进行了细致研讨,也就两篇文献分别从攻击增强与防御泛化角度揭示的多模态模型脆弱性及跨域性能提升机制对后续科研工作的启发价值开展探讨。