新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

HAUST-HNU大模型与安全联合研究团队第10期组会召开

2024-06-11

6月10日,HAUST-HNU大模型与安全联合研究团队第10期组会在线召开。本次组会主题是针对文本到图像生成模型的特定对象投毒攻击以及关于大语言模型的越狱攻击。会议由河南师范大学荆军昌副教授主持。

河南科技大学23级硕士研究生胡奥迪以《针对文本到图像生成模型的特定对象投毒攻击》为题做了汇报交流。她分析了文生图模型的特定对象投毒攻击的攻击方式,重点介绍了NightShade攻击,使用引导扰动来增加毒性,同时避免视觉检测;提供该方法的攻击步骤;对于NightShade攻击所产生的“渗透”效应都一一进行了分享;最后做出总结和展望,Nightshade攻击所需的中毒样本数量能够减少到远低于基本攻击所能达到的数量,以及投毒攻击所具有的价值。

图片1.png

在交流环节,荆军昌副教授分析了文生图模型投毒攻击的攻击方式,以及将来研究的方向。在交流环节,与会组员展开了深入讨论,充分认识到文生图模型在安全方面的挑战和重要意义,激发大家的兴趣,做更深一步的研究。

图片2.png

河南科技大学22级硕士研究生岳欣馨以针对大语言模型的越狱攻击为切入点做了下一步研究计划的汇报交流。她首先对提示注入攻击进行讨论,分析了提示注入攻击以及越狱攻击的研究现状,强调了越狱攻击的先进性和研究的必要性。重点介绍了现有文献中经典的越狱攻击技术例如前缀注入、拒绝抑制、特殊编码等,提出了创新思路并描述了拟定的实验方案,最后列举了重点参考的高水平文献。

图片3.png

在交流环节,与会成员对越狱攻击的特点和研究现状进行讨论,分析了该研究计划的可行性,对研究内容的创新性进行了深入的辩证讨论。

图片4.png



微信扫码分享