7月17日，CSA多模态情感计算课题组暑期第2期学术组会在线召开，会议由国际联合实验室宋斌老师主持。本次组会的主题是多模态情感分析的研究进展趋势和随机缺失模态条件下基于多阶段图融合网络的应用。

河南科技大学2024级硕士研究生李晓康以《中国计算机科学技术发展报告》中的《情感分析研究进展与趋势》文献为切入做汇报交流。该文献介绍了近年来情感分析研究热点的方向转变，研究领域的最新进展，以及未来存在的挑战。这篇文献能帮助新入学研究生了解情感分析的重点研究方向，为日后的研究学习理清大致轮廓。研究热点主要转变趋势有以下三点：情感分析粒度从“粗粒度的文档/句子级”到“细粒度的属性级”；情感分析模态从“文本单模态”到“文本、语音、视觉多模态”：情感分析可解释性方面从“情感感知”到“原因认知”。在今后，应对大规模情感基准数据集构建、开放域通用情感分析应用、多模态情感分析、隐式情感检测和情感溯因推理等方面进行重点研究。

此外，河南科技大学2022级硕士研究生张婷对已投稿的论文《Multimodal Sentiment Analysis Based on Multi-Stage Graph Fusion Networks under Random Missing Modality Conditions》进行了汇报交流。该论文针对以往的研究大多为单阶段融合且很少考虑模态序列的相对位置关系的局限性问题，提出了一种随机缺失模态条件下基于多阶段图融合网络(MSGFN)的MSA方法，以提高模型在随机缺失模态条件下对MSA的鲁棒性。首先，针对每个模态，利用其模态间和模态内多头注意力学习模态序列的鲁棒表示；同时，在注意力机制中引入相对位置编码(RPE)，使模型在计算注意力时能够学习和感知模态序列前后的相对位置，从而更好地理解序列的上下文信息。然后，将学习到的模态特征输入到Transformer编码器中，并在预训练模型的监督下重构缺失的模态信息；最后，使用MSGFN对不同模态的特征表示进行有效融合，并将输出结果用于最终的情感分类。实验结果表明，与几种基线方法相比，所提方法能够更好地应对模态融合和模态缺失带来的挑战。

在交流讨论环节，宋斌老师为汇报做出总结并给予建议，其他与会组员针对文献中的研究思路、实验设计过程等提出问题并展开了热烈的讨论，各位同学相互学习补足知识空缺。