7月7日，HAUST-HNU大模型与安全联合研究团队第12期组会在线召开。本次组会主题是多模态模型的后门攻击和投毒攻击研究。会议由河南师范大学荆军昌副教授主持。

河南科技大学2024级博士研究生权高原以文献《Data Poisoning Attacks Against Multimodal Encoders》为切入做汇报交流。该文献**在视觉和语言两种模式下研究了针对多模态模型的数据投毒攻击的脆弱性。在保持模型在干净数据上的效用的同时，提出了单一目标图像攻击、单一目标标签攻击和多个目标标签攻击三种类型的投毒攻击。为了抵御投毒攻击，该文献**次针对多模态编码器的数据投毒攻击，提出了预训练和后训练的两种防御方法。实验评估表明，这两种防御都有效地减轻了投毒攻击的影响，同时保证了多模态模型的原始效用。在未来，作者计划将研究工作扩展到更多不同的模态。

河南科技大学24级博士研究生潘俊艳以文献《Stealthy Targeted Backdoor Attacks Against Image Captioning》为切入做汇报交流。该文献针对目前图像描述后门攻击存在攻击隐蔽性的局限性问题，提出的隐蔽性目标后门攻击方法。该文献创新性地提出将投毒样本和干净样本一起训练，并设计了一种新颖的方法，将触发器与句子中预定义的对象名称配对，使模型在生成投毒样本的描述时保留图像的大部分语义信息。重点介绍了该方法在各种模型和数据集上的多组实验，证明了攻击的有效性以及对现有后门防御的鲁棒性。

在交流环节，与会成员主要针对文献的研究思路、创新点及不明之处展开了热烈的讨论，为各位老师同学未来课题研究提供了新思路。