新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

HAUST-HNU大模型与安全联合研究团队第46期组会召开

2026-10-11

       2026年10月11日,HAUST-HNU大模型与安全联合研究团队第46期组会在线召开。本次组会主题是跨模态协同后门攻击方法和一种针对视觉-语言-动作模型的动作级后门攻击。会议由河南师范大学荆军昌副教授主持。

       河南科技大学2024级博士研究生潘俊艳于会议中汇报了题为《CMCB: Cross-Modal Collaborative Backdoor Attack against Large Vision Language》的研究。现有多模态后门攻击将视觉与文本触发器视为独立通道,导致单模态信号易被另一模态语义稀释,普遍依赖较高的投毒比例或可感知的触发图案,且忽略监督信号对后门稳定性的影响。本文提出跨模态协同后门攻击方法CMCB(Cross-Modal Collaborative Backdoor)核心思想是沿模型既有的跨模态对齐通路建立后门。首先依据图文语义一致性筛选投毒样本,使其落在表示空间的稠密区域;继而在目标实体上联合注入不可感知的视觉频域触发与语义保持的文本触发,构成需双模态同时满足的联合激活条件;**后依据跨模态置信度自适应调节软标签监督强度。在VQAv2数据集与5种主流LVLM上的实验表明,投毒比例仅为3%时与多种不同后门攻击方法对比平均攻击成功率**高达94.59%,干净任务准确率下降小于1%。在6种不同的防御机制下,仍保持较高的攻击成功率。本研究揭示了LVLMs跨模态对齐机制存在的深层安全隐患,为多模态模型的鲁棒性研究提供新的视角。

图片1.png

       河南科技大学2026级博士研究生刘闯于会议中汇报了题为《DropVLA: An Action-Level Backdoor Attack on Vision–Language–Action Models》的研究。该研究针对当前视觉–语言–动作(VLA)模型后门攻击多依赖视觉触发器、语言提示注入或环境扰动,攻击粒度停留在感知层与指令层,忽视动作生成层可被恶意操纵的隐蔽攻击面的根本性局限,提出了动作级后门攻击DropVLA。研究围绕两大核心挑战展开:一是VLA模型需跨模态对齐视觉、语言与连续动作序列,动作输出具有高维、时序和本体相关特性,攻击者难以在保持正常任务性能的同时将后门精确绑定到特定动作模式,现有安全防护大多聚焦输入过滤与输出异常检测,完全未覆盖动作级攻击向量;二是面向动作生成过程的后门触发器与恶意动作策略缺少系统化联合优化方案,人工构造触发器隐蔽性差、泛化能力弱,难以在多任务、多模型、多机器人本体下稳定实现高攻击成功率。为此,DropVLA设计了一套基于动作令牌丢弃与状态–动作价值迭代优化的后门注入框架,并配套三大核心机制:一是动作触发器溯源机制,记录每一代恶意动作策略的父代样本,基于迭代性能差异实现进化式优化,明确优化收敛方向;二是加权动作价值评估机制,同时兼顾后门触发成功率、恶意动作执行精度与正常任务性能保持度,平衡攻击效果与隐蔽性,快速筛选高诱导潜力动作候选;三是批量动作候选生成机制,每轮迭代批量产出多组触发器–动作策略组合,同步拓宽动作空间搜索的广度与深度,加速优化收敛。该方法在跨模型迁移、跨任务迁移、跨机器人本体迁移、仿真到真实迁移、动作序列隐私泄露、任务上下文篡改、防御审计器检测TPR/FPR量化对比、消融实验、迭代收敛趋势分析以及DropVLA生成动作级后门样例分析等**度对照实验中,进一步证明了动作级后门注入框架、三大约束机制、动作级触发器攻击范式各自的关键危害,充分揭示了动作级后门攻击在绕过现有主流VLA安全防御、操控机器人行为、破坏跨模态决策可靠性方面的巨大威胁,为面向VLA模型构建执行层新型安全防御体系提供了全新研究方向。

图片2.png

       研讨交流环节,师生结合DropVLA攻击的动作级触发器优化策略、跨模型迁移实验、多类防御旁路验证等核心成果展开探讨,反思现有相关研究存在的局限:现有攻击手段多局限于视觉触发器或语言提示层单一优化,缺乏对动作生成层隐蔽攻击面的挖掘,且较少兼顾跨模型、跨任务域及跨机器人本体的泛化能力,未能充分挖掘动作序列与VLA模型决策间的细粒度关联规律,为后续VLA模型与具身智能体安全课题拓展了全新研究切入点。

微信扫码分享