11月6日,CSA多模态情感计算课题组第32期学术组会顺利召开。本次会议由国际联合实验室宋斌老师主持。本次组会的主题是《Multimodal Analysis of Disagreement in Dyadic Conversations: An Approach Based on Emotion Recognition》和《Selfattention mechanism prior to modality fusion for multimodal sentiment analysis》。
河南科技大学2025级硕士研究生张傲对《Multimodal Analysis of Disagreement in Dyadic Conversations: An Approach Based on Emotion Recognition》文献进行汇报交流,汇报分五部分:一是点明研究背景及意义,分歧是社交互动中不可避免的现象本研究对“分歧时间占比”进行量化预测,为智能对话系统提供分歧检测能力;二是介绍数据集,说明标注方法、实验协议以及评价指标;三是阐述核心技术路线,以情感识别为基础,通过多模态特征提取、单模态推理、多模态融合三步实现分歧占比预测;四是展示实验结果,M1性能**优,较基准模型MAE降低16.4%、RMSE降低12.5%,相关系数从0.0提升**0.52,且所有结果经双尾t检验+邦费罗尼校正,统计显著;五是总结,量化分歧时间占比推动情感计算与社交互动分析交叉领域发展,提出局限及未来研究方向。

随后,河南科技大学2025级硕士生周雅欣对《Selfattention mechanism prior to modality fusion for multimodal sentiment analysis》 文献进行汇报交流。本次汇报分为研究背景与挑战、研究内容、实验分析、案例分析、总结五部分。研究背景与挑战指出当前多模态情感分析主要面临的两个问题,分别是默认融合前特征高质量、语义不一致问题难以解决;基于这一研究现状提出SAM-PMF模型,SAM-PMF模型由五个模块组成,模态特征提取模块提供高质量初始特征,自注意力机制模块在融合前特征提纯,模态融合模块包含CMD和交叉注意力两个子模块,ULGM与损失函数模块辅助优化,提升鲁棒性;实验分析部分表明SAM-PMF模型的有效性,设计消融实验证明核心模块的必要性;案例分析模块直观展示SAM-PMF方法的应用效果;**后总结了SAM-PMF模型的学术贡献与局限性。

在交流讨论环节,宋斌老师对汇报进行了总结,并提出了宝贵的建设性建议。其他与会组员围绕汇报内容提出了问题并展开了深入讨论,进一步加深了对相关问题的理解。
(图文/张傲、周雅欣 审核/宋斌)