5月25日，HAUST-HNU大模型与安全联合研究团队第24期组会在线召开。本次组会主题是针对视觉语言模型的后门攻击和针对数据投毒和后门攻击的鲁棒预训练。会议由河南师范大学荆军昌副教授主持。

河南科技大学2023级硕士研究生汤思敏汇报了题为《TrojVLM: Backdoor attack against vision language models》的论文。该论文通过TrojVLM后门攻击，表明视觉语言模型（VLM）的脆弱性；提出了一种新的语义保存损失在插入了目标文本的有毒样本情况下，仍维持下游任务微调期间的语义一致性；探索了在后门攻击过程中视觉和文本信息如何交互，揭示潜在机制。该研究不仅揭示了VLM中的一个关键安全风险，为未来研究如何保护多模态模型免受此类复杂威胁奠定了基础。

河南科技大学2023级硕士研究生胡奥迪汇报了题为《Robust Contrastive Language-Image Pre-training against Data Poisoning and Backdoor Attacks》的论文，该论文提出了一种有效抵御针对性数据投毒与后门攻击的多模态视觉语言预训练方法，即采用动态随机字幕池策略，周期性地将图像与池中**相似的文本匹配，打破与投毒样本的关联，并结合数据增强强化防御并提升模型性能。为了验证该方法的有效性和先进性，论文对针对性数据投毒和后门攻击测试，实验结果表明，论文所提的攻击方法更加有效并且能够防御攻击。

在交流环节，与会成员主要针对文献的研究思路、创新点及不明之处展开了热烈的讨论，为下一阶段课题研究提供了新思路。

（图文/汤思敏、胡奥迪 审核/权高原）