新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

CSA多模态情感计算课题组第 12 期学术组会召开

2024-12-15

12月12日,CSA多模态情感计算课题组第12期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《多模态情感分析的主模态补充融合算法》。

河南科技大学2023级硕士研究生徐梓博以《多模态情感分析的主模态补充融合算法》为题进行了报告。报告分为五个部分,**部分讲述了研究背景,提出了传统的多模态融合是远远不够的,从而引出了研究方法的主要贡献。第二部分分别从多模态情感分析以及通过Transformer实现多模态融合两个方面对以往的工作进行了分析。第三部分介绍了研究方法的整体框架,它由三个主要部分组成,主导模态补充模块(DMS),模态增强(ME)模块和主导模态驱动的多模态融合(DDMF)模块。首先采用编码器从视听文本序列中提取多模态特征。然后设计DMS模块,选择**重要的模态作为整个模型的主导模态,并进行跨模态补充。然后,设计了一个两分支ME模块来提取多模态特征的公共表示和**表示。**后设计了DDMF模块实现多模态融合。第四部分对实验设置以及实验结果进行分析,实验结果包含与SOTA方法的比较、七个方面的消融研究、可视化结果以及模型复杂性的全面分析,证明了研究方法的有效性。**后对报告进行了总结并对未来的工作提出了方向。

图片1.png

在交流讨论环节,宋斌老师为汇报做出总结并给予建议,其他与会组员针对汇报内容提出问题并给出自己的见解,各位同学相互学习补足知识空缺。



(图文/徐梓博  审核/宋斌)

微信扫码分享