2026年7月2日,CSA多模态情感计算课题组第47期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是开题汇报。
河南科技大学2025级硕士研究生姜先博围绕“文本引导非对称鲁棒性多模态情感分析”进行了开题报告汇报与讨论。该研究聚焦“如何保留语音、视觉互补信息并控制非文本模态影响”这一问题,针对传统融合忽视模态主次关系以及音频、视觉易受噪声干扰等不足,拟以文本引导非对称融合为主线,结合轻量扩散增强,提升多模态情感强度预测的准确性、鲁棒性与可解释性。本次开题汇报主要分为三部分:一是介绍研究背景与问题动机;二是阐述文本引导非对称融合的总体思路;三是分析扩散模型的应用潜力。汇报结合训练阶段去噪约束思路,介绍了将扩散增强迁移**多模态情感分析基线的初步探索,并尝试情感布局、跨数据集指导信号和大语言模型生成的文本细粒度约束。

河南科技大学2025级硕士研究生张傲对开题内容进行汇报交流。本次汇报分为三个部分:**部分为研究背景,介绍多模态情感分析的研究意义,指出多模态数据异构性,语义鸿沟等关键问题,以及跨模态对齐困难、细粒度情感难以建模的主要瓶颈。第二部分为国内外研究现状,介绍跨模态对齐方法和对比学习在MSA中的应用。第三部分为研究内容,分别阐述研究内容一:情绪一致性驱动的跨模态语义对齐方法以及研究内容二:情感感知的跨模态对比学习方法。

在交流环节,宋斌老师对汇报进行了总结,并提出建设性建议,指明了下一步学习的方向。
(图文/姜先博、张傲 审核/宋斌)