我院刘瑞研究员团队联合情感计算领域知名学者、英国帝国理工大学Björn W. Schuller教授（IEEE Fellow）和香港中文大学（深圳）Haizhou Li教授（IEEE Fellow），提出了一种新颖的基于共性对比学习的缺失模态想象网络，显著提升了缺失模态下多模态情感识别的鲁棒性和准确率。 论文“Contrastive Learning based Modality-Invariant Feature Acquisition for Robust Multimodal Emotion Recognition with Missing Modalities”被IEEE情感计算汇刊 IEEE Transactions on Affective Computing（IEEE-TAC）录用并在线发表。IEEE-TAC是情感计算领域国际顶级期刊，中国人工智能学会（CAAI）推荐的A类学术期刊，影响因子为11.2。

缺失模态下的多模态情感识别（Multimodal Emotion Recognition, MER）旨在模拟现实世界中模态信息缺失的应用场景，并通过探索可用模态的跨模态互补信息来理解人类表达情感的方式。传统方法着重研究了跨模态缺失模态想象过程中的多模态联合表征学习。然而，由于“模态鸿沟”问题，跨模态想象机制极易产生误差，从而影响想象的准确性，以及最终的识别性能。

图1 基于对比学习的模态不变特征学习框架

图2 不变特征辅助的缺失模态想象网络（CIF-MMIN）

首先，该工作设计了一种基于对比学习的学习策略，从全模态信息中提取基于对比学习的模态不变特征（Contrastive Learning-based Modality-Invariant Feature, CIF）。其次，我们设计了基于CIF的想象模块（CIF-based Imagination Module, CIF-IM），借助全模态不变特征的推断，实现缺失模态下鲁棒的缺失模态信息想象。最后，将想象的模态信息和可用的模态信息融合，以获得完成情感识别所需的完整信息。实验表明，我们的模型在缺失模态情感识别任务中明显优于基线模型，为缺失模态情感识别的发展提供了新的思路。

文章作者包括：刘瑞研究员（第一作者），2022级博士生左昊麟（导师外第一作者），中国科学院自动化研究所助理教授连政，英国帝国理工大学Björn W. Schuller教授，以及香港中文大学（深圳）Haizhou Li教授等。这项研究得到了国家自然科学基金青年基金、内蒙古自治区“草原英才”工程项目、自治区留学人员创新创业启动支持计划、广东省数字孪生人重点实验室（华南理工大学）开放课题、内蒙古大学骏马计划高层次人才引进项目、内蒙古自治区本级引进高层次人才科研支持等项目的支持。

论文链接：https://ieeexplore.ieee.org/document/10474146