11月17日,CSA多模态情感计算课题组第10期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《基于自适应权值融合的多模态情感分析方法》。
河南科技大学2024级硕士研究生谢志鹏对《基于自适应权值融合的多模态情感分析方法》文献进行了汇报总结。介绍了该文献主要由近年来多模态出现各个模态间学习速率不平衡出发,研究发现多模态的协同决策降低问题,基于此问题提出了一种基于自适应权值融合的多模态情感分析方法。然后详细介绍了该方法的内容,该方法分为两个阶段,首先介绍了B融合,该阶段根据模态学习的梯度差异自适应地调整模态间的融合权值,促使单模态融合权值能在反向传播过程中平衡不同模态的参数更新速率,实现动态调整模态学习速率的目的。其次介绍了A融合,该阶段基于软注意力探究模态对任务的贡献为各个模态分配权重。然后讲述了本文方法是由B融合和A融合的结果组合而成。**后介绍了实验结果,将 B 融合方法和A融合方法引入现有的多模态情感分析方法中,能够有效提升现有方法对情感分析任务的分析准确度。
在交流环节,与会组员展开了深入提问探讨,充分了解了基于自适应权值融合的多模态情感分析方法,为各位老师同学未来课题研究提供了新思路。
(图文/谢志鹏 审核/宋斌)