2025年12月3日,CSA多模态情感计算课题组第34期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是基于多模态解耦表示学习的多尺度动态情感分析方法研究与应用。
河南科技大学2024级硕士研究生李晓康围绕其研究内容一《随机缺失模态下多层级对比学习的情感识别方法》进行了框架报告。该研究立足于多模态情感分析在实际应用中面临的模态缺失、噪声干扰和语义表征不足等挑战,系统综述了研究背景与国内外研究现状,包括基于多层次融合策略、对比学习范式和缺失模态下鲁棒性的情感分析的广泛应用。针对现有方法在动态时序建模和缺失模态鲁棒性方面的不足,本研究提出两个核心创新点:由于模态缺失情况下当关键信息缺失时局部-全局的对比学习的结果会被直接影响,因此采用一种锚点策略;二是在特征重建部分,设计一种对比学习引导的对抗生成策略。采用对抗重建损失、对比一致性损失和传统重建损失多种损失函数约束生成器,以及特征相似度判别器+语义判别器的双判别器结构,进行多模态情感倾向验证与分析。课题预期提出一种高精度、高鲁棒性的情感分析模型,并完成专利申请、论文发表及实际应用,为复杂场景下的多模态情感分析提供新思路。

在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/李晓康 审核/宋斌)