11月24日，CSA多模态情感计算课题组第11期学术组会成功召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是《方面级多模态协同注意图卷积情感分析模型》。

河南科技大学2024级硕士研究生刘文静汇报了论文《方面级多模态协同注意图卷积情感分析模型》。该文献提出一个方面级多模态协同注意图卷积情感分析模型（aspect-level multi-modal co-attention graph convolutional sentiment analysis model，AMCGC），来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐，以提升情感分析的性能。主要方法为：①利用正交约束的自注意力机制生成各个模态的语义图，获得方面导向的模态内局部语义相关性；②通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示，并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐，降低模态间的异构鸿沟；③设计方面掩码来选用各模态图表示中方面节点特征作为情感表征，引入跨模态损失降低异质方面特征的差异。模型实验结果：在两个多模态数据集上与9种方法进行对比，在Twitter-2015数据集中，相比于性能第2的模型，准确率提高了1.76%；在Twitter-2017数据集中，相比于性能第2的模型，准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估，验证了AMCGC模型各部分的合理性。总之，提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐，提升方面级多模态情感分析的准确性。

在交流讨论环节，宋斌老师为汇报做出总结并给予建议，其他与会组员针对汇报内容提出问题并给出自己的见解，各位同学相互学习补足知识空缺。

（图文/刘文静  审核/宋斌）