12月26日,CSA多模态情感计算课题组第13期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《一种融合语义信息的多尺度情感分析方法》。
河南科技大学2022级硕士研究生张婷以《一种融合语义信息的多尺度情感分析方法》为题进行了报告。报告分为四个部分。**部分介绍了研究背景,指出现有的缺失模态情感分析方法大多依赖于Transformer来捕捉不同模态之间的依赖关系,但这些方法通常只使用单尺度特征表示,未能充分挖掘多尺度表示中不同层次的语义信息。此外,模态间的语义不一致性问题亟需解决。第二部分阐述了研究内容,提出了一种融合语义信息的多尺度情感分析方法,旨在提升多模态情感分析任务的性能。首先,利用多尺度卷积神经网络(MSCNN)对输入数据进行局部特征提取,捕捉不同尺度下的细粒度信息。随后,采用Transformer来学习全局上下文信息,进一步增强模型对长距离依赖关系的捕捉能力。接着,语义对齐网络被引入用于对齐来自不同模态的特征,以解决模态间可能存在的语义差异。**后,通过融合模块整合来自不同模态的特征,完成情感分类任务。第三部分对实验设置和实验结果进行了详细分析,分别与五个基准模型进行了对比,并进行了消融实验和收敛过程可视化,充分验证了模型的有效性。第四部分对研究进行了总结,并提出了未来的研究方向。
在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/张婷 审核/宋斌)