4月10日，CSA多模态情感计算课题组第20期学术组会成功召开，会议由国际联合实验室2022级硕士研究生张婷主持。本次组会的主题是《基于对比学习的模态不变特征获取用于缺失模态的鲁棒多模态情感识别》。

河南科技大学2024级硕士研究生谢志鹏对文献《基于对比学习的模态不变特征获取用于缺失模态的鲁棒多模态情感识别》进行了汇报总结。该文献针对情感识别中的缺失模态问题，从解决“模态鸿沟”和语义丢失的角度出发，借鉴人类通过模态不变性推理补充缺失模态的机制，提出了CIF-MMIN架构。该架构主要包含两个阶段：CIF学习阶段和CIF-MMIN训练阶段。在CIF学习阶段，通过对比学习构建跨模态正负样本对，利用NT-Xent损失函数拉近同类样本距离、推开异类样本距离，从而学习模态不变特征；同时采用多任务学习策略，联合优化分类损失和对比损失。在训练阶段，首先通过编码器提取模态特征和不变特征，然后使用级联残差自编码器（CRA）结合不变特征生成缺失模态，**后将生成模态与原始模态特征拼接后输入分类器进行情感预测。实验结果表明，该模型相比多个基线模型取得了更好的性能表现，有效解决了当前多模态情感识别中的模态缺失难题。

在交流环节，组员之间展开了深入提问探讨，充分了解了在缺失模态下解决模态鸿沟与语义缺失的方法，为各位老师同学未来课题研究提供了新思路。

（图文/谢志鹏  审核/宋斌）