2月27日，CSA多模态情感计算课题组第17期学术组会成功召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是《一种基于对比学习的跨模态补充平衡的多模态情感预测方法》。

河南科技大学2023级硕士研究生徐梓博以《一种基于对比学习的跨模态补充平衡的多模态情感预测方法》为题进行了报告。报告分为五个部分，**部分讲述了研究背景，提出了传统的多模态融合是远远不够的，从而引出了研究方法的主要贡献。第二部分分别从多模态情感分析以及通过Transformer实现多模态融合两个方面对以往的工作进行了分析。第三部分介绍了研究方法的整体框架，它由三个主要部分组成，主导模态补充模块（LMS），跨模态对比分析模块（CMCA）和平衡预测结果模块(BPR)。首先采用编码器从视听文本序列中提取多模态特征。然后设计LMS模块，选择**重要的模态作为整个模型的主导模态，并进行跨模态补充。然后，设计了CMCA模块通过跨模态对比学习来增强模态之间的相关性以及差异性，并进行差异特征和特定特征分析。**后设计了BPR模块实现来平衡各阶段预测结果。第四部分对实验设置以及实验结果进行分析，实验结果包含与SOTA方法的比较、七个方面的消融研究、可视化结果以及模型复杂性的全面分析，证明了研究方法的有效性。**后对报告进行了总结并对未来的工作提出了方向。

在交流讨论环节，宋斌老师为汇报做出总结并给予建议，其他与会组员针对汇报内容提出问题并给出自己的见解，各位同学相互学习补足知识空缺。

（图文/徐梓博  审核/宋斌）