7月6日，CSA多模态情感计算课题组第25期学术组会成功召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是《Multi-grained fusion network with self-distillation for aspect-based multimodal sentiment analysis》。

河南科技大学2024级硕士研究生刘文静汇报了论文《Multi-grained fusion network with self-distillation for aspect-based multimodal sentiment analysis》。基于方面的多模态情感分析（ABMSA）是多模态情感分析的一个重要分支。ABMSA的目标是使用多模态信息来推断用户对目标方面的情绪极性，以支持相应的决策。现有的 ABMSA方法通常侧重于探索方面感知的细粒度交互，并展示集成多模态信息的好处。然而，这些方法仍然存在以下局限性：（1） 忽略了粗粒度的语义信息提取，（2）忽略了图像和方面之间的相关性，（3）没有采用与模型无关的技术来改进多模态表示。为了解决这些**，论文提出了一种新的多模态方法，称为具有自蒸馏的多粒度融合网络（MGFN-SD）。这种方法包括单模态特征提取、多粒度表示学习和基于自蒸馏的情感预测。多粒度表示学习模块基于方面-图像相关性计算和相似性计算，提取细粒度和粗粒度交互，用于动态过滤原始图像带来的潜在噪声。在情感预测模块中，采用自蒸馏来传递来自硬标签和软标签的知识，以监督每个学生分类器的训练过程，从而提高多模态表示的质量。在三个基准数据集上的实验结果表明了MGFN-SD的优越性、合理性和鲁棒性。

在交流讨论环节，宋斌老师对汇报内容进行了总结，并提出了建议。

（图文/刘文静  审核/宋斌）