2026年3月29日,CSA多模态情感计算课题组第40期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《多模态情感分析的轻量级分层解耦对比学习》。
河南科技大学2024级硕士研究生谢志鹏对文献《多模态情感分析的轻量级分层解耦对比学习》进行了汇报总结。该文献针对多模态情感分析中离散文本标记与连续非语言线索之间的分布差异、特定模态噪声的抑制,以及笨重的基于Transformer的融合模型带来的高计算开销等挑战进行了深入探讨。为了解决这些问题,文章提出了一种轻量级分层解耦对比学习框架(L-HDCL)。该框架大胆采用了“先提纯后对齐”的范式,有效解决了多模态异质性、噪声干扰和计算效率低下的难题。L-HDCL主要包含三个核心部分:1.约束特征解耦模块:将异构的多模态特征投影到相互正交的共享子空间和私有子空间中,以此来进行噪声过滤并分离特征。2.渐进式分层对比学习:通过多层级的对比学习,在单模态、双模态中间层以及全局融合层这三个粒度上,强制执行鲁棒的跨模态语义连贯性与对齐。3.轻量级Transformer融合:专门在高度浓缩的模态级嵌入上执行跨模态交互,而不是在冗长的时序序列上进行,从而极大地降低了计算开销。实验结果表明,L-HDCL在CMU-MOSI、CMU-MOSEI和CH-SIMS等基准数据集上均取得了**竞争力的性能表现。同时,该模型显著降低了参数量和计算操作,实现了出色的准确率-效率平衡。

在交流环节,师生之间展开了深入的提问与探讨,充分了解了如何通过特征解耦与多层对比学习来缓解多模态数据异质性并降低计算复杂度,为各位老师同学未来解决相关计算效率与融合问题提供了全新的思路。
(图文/谢志鹏 审核/宋斌)