日前,实验室获批洛阳市公益性行业科研计划项目《面向公共安全的人工智能治理关键技术研究及示范化应用》(No.2602001A)。
本项目响应公共安全领域人工智能治理关键技术研究及应用需求,针对政务服务、应急管理与社会治理等场景中公共安全数据高敏感强关联、来源多源异构且持续汇聚,以及开源大模型底座缺乏安全审查与自主可控机制,导致数据投毒、后门植入、模型窃取与提示注入风险叠加、迭代部署防御难等挑战,围绕多源异构数据与对齐标注样本的投毒/后门隐蔽风险识别机理、无数据黑盒模型窃取行为识别与逆向检测、跨模态提示注入攻击面的可计算表达与演化对抗防御机制3个关键科学问题,深入系统研究面向公共安全的大模型安全治理基础理论与关键技术,研发多模态大模型安全检测原型系统,为公共安全人工智能系统的安全可控与可信运行提供理论依据与技术支撑。