新闻中心
新闻中心

当前位置:首页 / 新闻中心 / 实验室动态 / 正文

CSA多模态情感计算课题组第26期学术组会召开

2025-07-27

7月20日,CSA多模态情感计算课题组第26期学术组会成功召开,会议由国际联合实验室宋斌老师主持。本次组会的主题是《Modeling Methods for Modal Differences and Missing Robustness in Fine grained Multimodal Sentiment Analysis》。

河南科技大学2023级硕士研究生徐梓博对拟投搞论文《Modeling Methods for Modal Differences and Missing Robustness in Fine grained Multimodal Sentiment Analysis》进行了汇报总结。随着人工智能在情感计算领域的不断深化,多模态情感分析逐渐成为研究热点。该技术通过融合文本、音频和视频等多源信息,实现对人类情绪的智能识别。然而,受限于模态间的分布差异、特征建模深度不足以及模态缺失等挑战,现有方法在真实应用场景下的表现仍存在瓶颈。针对上述问题,提出了一种创新性多模态情感分析框架,旨在全面提升模型在复杂环境下的识别能力。该方法首先从原始数据中提取高质量模态特征,确保信息完整保留。随后引入MAAT对齐模块,有效缓解非文本模态与文本模态之间的分布差异。为深入挖掘情感线索,模型进一步结合模态解耦与信息**大化策略,实现对细粒度情绪特征的精准建模。此外,为应对现实中常见的模态缺失问题,框架还设计了差异性特征补全机,显著增强模型的鲁棒性。在多个权威数据集(CMU-MOSI、CMU-MOSEI、CH-SMIS)上的对比与消融实验结果表明,该框架在多项主流评估指标上均超越现有先进方法,展现出优异的性能和广泛的适用性。本研究为多模态情感分析领域提供了新的思路,有望在人机交互、智能客服、虚拟人等场景中发挥重要作用。

图片1.png

河南科技大学2025级硕士研究生张笑笑对《面向表情、语音和语言的多模态情感识别详细综述》文献进行汇报交流。本次汇报分为五个部分:**部分介绍多模态情感识别的背景和意义,强调情感识别在人工智能领域的重要性及非侵入式采集的优势。第二部分综述情感表示模型,包括离散情感模型和维度情感模型,并分析其特点和应用场景。第三部分梳理情感数据库,涵盖表情、语音、语言文本及多模态数据库,对比表演型与自发型数据的差异。第四部分详细阐述多模态情感识别方法,包括面部表情识别、语音情感识别、语言文本情感识别及多模态融合技术,并讨论关键技术挑战。**后一部分总结情感识别的应用场景(如安全驾驶、智慧医疗、智能客服等)及未来研究方向,如情感语料库构建和模型设计的优化。

图片2.png

在交流环节,宋斌老师对汇报内容进行了总结,并提出了建议,与会成员主要针对文献的研究思路、创新点及不明之处展开了热烈的讨论,为下一阶段课题研究提供了新思路。

(图文/徐梓博 、张笑笑  审核/宋斌)

微信扫码分享