新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

CSA多模态情感计算课题组第41期学术组会召开

2026-04-11

       2026年4月09日,CSA多模态情感计算课题组第41期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《基于方面级多模态情感分析的句法增强与方面导向网络》和《基于多层次对比学习和对抗性重建的鲁棒多模态情感分析》。

       河南科技大学2024级硕士研究生刘文静对文献《基于方面级多模态情感分析的句法增强与方面导向网络》进行了汇报总结。该文献针对方面级多模态情感分析的缺少对句子句法信息的有效利用、忽略了文本-图像交互以及易引入图像不相关区域噪音等挑战进行了深入探讨。为了解决这些问题,文章提出了一种句法增强与方面导向网络(SEAON)。该框架主要包含四个核心部分:1.通过句法解析,提取包含语义和语法信息的文本特征。2.利用图像描述与图像区域对齐,减少视觉噪音。3.通过方面感知交互和面向方面的多模态交互,实现低层与高层特征提取。4.通过辅助重建模块重构特征,减少不同模态的语义差异。实验结果表明,SEAON在Twitter-2015和Twitter-2017等基准数据集上均取得了较好效果。

图片1.png

       随后,河南科技大学2024级硕士研究生李晓康围绕其研究内容一《基于多层次对比学习和对抗性重建的鲁棒多模态情感分析》进行了框架报告。该研究立足于多模态情感分析在实际应用中面临的模态缺失、噪声干扰和语义表征不足等挑战,系统综述了研究背景与国内外研究现状,包括基于多层次融合策略、对比学习范式和缺失模态下鲁棒性的情感分析的广泛应用。针对现有方法在动态时序建模和缺失模态鲁棒性方面的不足,本研究提出两个核心创新点:由于模态缺失情况下当关键信息缺失时局部-全局的对比学习的结果会被直接影响,因此采用一种锚点策略;二是在特征重建部分,设计一种对比学习引导的对抗生成策略。采用对抗重建损失、对比一致性损失和传统重建损失多种损失函数约束生成器,以及特征相似度判别器+语义判别器的双判别器结构,进行多模态情感倾向验证与分析。课题提出一种高精度、高鲁棒性的情感分析模型,并预期完成专利申请、论文发表及实际应用,为复杂场景下的多模态情感分析提供新思路。

图片2.png

       在交流讨论环节,宋斌老师对汇报内容进行了总结,并提出了改进建议。其他与会组员也针对汇报内容提出了问题并分享了自己的见解,大家相互学习,拓宽了研究思路。

(图文/刘文静 李晓康 审核/宋斌)

微信扫码分享