1月27日,CSA多模态情感计算课题组第15期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《用于多模态情感分析的对比特征分解》。
河南科技大学2024级硕士研究生谢志鹏对《用于多模态情感分析的对比特征分解》文献进行了汇报总结。介绍了该文献主要从近年来在多模态研究上只是对特征进行简单融合拼接,以及忽略了共有模态与独有模态的区别出发,提出了一种全新的多任务对比学习架构 ConFEDE,然后详细介绍了该架构的内容。该框架基于自定义的数据采样器,将样本间对比学习和样本内模态分解结合到一个简单的统一损失函数中,这样允许我们对正/负数据对进行采样以执行这两个学习任务。然后将模态分解为一个相似性特征和一个相异性特征,并使用文本的相似性特征作为一个锚来建立所有分解特征之间的对比关系。**后在多模态表示学习的基础上,进一步引入了多任务预测损失,该损失依赖于每个分解的模态表示,使得模型能够从多模态预测和单峰预测中学习。该框架在训练方法和损失函数上进行了创新,实验结果上与当前几个SOTA模型相比也得到了比较好的结果。
在交流环节,组员之间展开了深入提问探讨,充分了解了多模态情感分析的对比特征分解方法,为各位老师同学未来课题研究提供了新思路。
(图文/谢志鹏 审核/宋斌)