6月23日,HAUST-HNU大模型与安全联合研究团队第11期组会在线召开。本次组会主题是文生图大模型的后门攻击和多身份深度伪造视频检测研究。会议由河南师范大学荆军昌副教授主持。
河南科技大学23级硕士研究生汤思敏以文献《BAGM: A Backdoor Attack for Manipulating Text-to-Image Generative Models》为切入做汇报交流。她分析了目前关于对文生图模型的后门攻击研究背景,提出随着生**工智能的日益普及探索,带后门的生成模型隐蔽操作的可能性势在必行;详细解释了文献中提出的对生成模型框架的后门攻击BAGM相关的三种主要攻击:表面攻击、浅层攻击和深度攻击;通过实验证明了BAGM框架的有效性;引入了一组新的评估指标,以对未来类似攻击的性能进行基准测试。**后对文生图模型后门攻击做了总结和感想:需要意识到文生图模型中的后门攻击是存在的,需要开发防御和检测机制来保护模型,更重要的是,防止用户受到恶意模型行为的不利影响。
在交流环节,张志勇教授强调了后门攻击在大模型领域的重要性以及将来研究的方向。荆军昌副教授分析了文生图模型后门攻击的具体实现方式。与会组员展开了深入讨论,充分认识到文生图模型在安全方面的机遇与挑战,激发大家的兴趣,做更深一步的研究。
河南科技大学22级硕士研究生方帅举以文献《MINTIME: Multi-Identity Size-Invariant Video Deepfake Detection》切入做汇报交流。该文献针对现有先进方法在多身份伪造视频检测中的不足,提出了结合卷积神经网络和时空变换器的新的检测方法。首先分析介绍了文献中的研究动机以及提出的核心创新,之后简要概述了文献的实验设置,重点解释了多身份固定尺寸深度伪造视频检测的创新性模型,此外还展示了文献中的丰富实验结果,以此验证该模型在贴合显示场景下的多身份深度伪造视频检测上具有优异的检测性能以及泛化能力。
在交流环节,与会成员对于文献中的不明之处提出了疑问,对具体方法实现进行了热烈讨论,并基于该文献研究探讨了该领域下一步可创新工作,为各位老师同学带来了新的课题思路。