学术动态

当前位置: 首页 学术动态 正文
我院10篇论文被多媒体领域国际顶级会议ACM MM 2026录用

发布日期:2026-07-15来源:

近日,第34届国际多媒体学术会议ACM International Conference on Multimedia(ACM MM 2026)公布了论文录用结果,我院10篇论文被录用。ACM MM是计算机图形学与多媒体领域最具影响力的国际顶级学术会议,由国际计算机学会(ACM)主办,每年召开一次,在中国计算机学会(CCF)推荐国际学术会议列表中被列为 A 类会议。我院被录用的论文简介如下(†共同第一作者,*通讯作者):

论文题目:CAGRec: Collaborative-Anchor Guided Multimodal Generative Recommender

论文作者:姚祥麟(内蒙古大学2023级本科生),杨洋(内蒙古大学 研究员),张怀文*(内蒙古大学 教授)

论文简介:针对现有多模态生成推荐方法难以融合用户协同行为与内容语义、离散语义标识难以利用连续语义信息的问题,本文提出CAGRec框架。该方法以用户历史交互中的协同信号为行为锚点,引导文本和图像特征进行协同锚定量化,并结合协同感知正则化优化商品语义表示;在推荐阶段,引入协同偏好锚定和语义感知重排序策略,提升用户兴趣建模与候选排序能力。实验结果表明,CAGRec在三个公开数据集上的HR和NDCG等指标均优于现有多模态生成推荐方法。

论文题目:VIGOR: Video Fact-Checking via Experience-Guided Multi-AgentCollaborative Reasoning

论文作者:王钰鑫(内蒙古大学2024级硕士研究生),杨洋(内蒙古大学 研究员),张怀文*(内蒙古大学 教授)

论文简介:针对现有视频事实核查方法缺乏经验积累导致推理开销大、整段视频分析易引入冗余信息干扰的问题,本文提出VIGOR框架。该方法构建视频事实核查经验记忆与多模态证据记忆,分别通过非参数强化学习复用历史核查经验,以及利用跨模态检索动态筛选关键视频片段,并由中央协调智能体协同多个子智能体完成核查。实验表明,该方法在TRUE数据集的真实性判别准确率和解释质量上相比现有方法分别提升了7.16%和5.72%。

论文题目:Hierarchical Token Learning with Discriminative Training for Generative Text-to-Image Retrieval

论文作者:杨洋(内蒙古大学 研究员),马浩宇(内蒙古大学2025级硕士研究生),张怀文*(内蒙古大学 教授)

论文简介:针对现有生成式文本到图像检索难以刻画层次化视觉语义、判别能力不足的问题,本文提出HiToken框架。该方法将图像语义解耦为场景级与实体级表征,并通过独立残差码本生成层次化图像标记;同时利用大语言模型将文本描述拆分为场景与实体描述,提供层级化跨模态监督。在检索阶段,HiToken从图像侧和文本侧构造互补难负样本,联合排序损失与生成目标进行训练。实验表明,该方法在多个公开数据集的R@1、R@5和R@10指标上均优于现有生成式检索方法。

论文题目:EAR: Erasing Concepts from Unified Autoregressive Models

论文作者:范海鹏(内蒙古大学2023级博士研究生),张仕远(内蒙古大学2024级硕士研究生),包胡呢斯图(内蒙古大学2022级本科生),郭子航(内蒙古大学2023级博士研究生),亓帆(内蒙古大学 教授),张怀文*(内蒙古大学 教授)

论文简介:针对现有概念擦除方法难以适配自回归生成、直接迁移易失效并损害模型效用的问题,本文提出EAR框架。该方法建模自回归图像生成轨迹,通过窗口梯度累积在隐藏状态窗口上聚合损失以提取稳定连贯的概念特征;通过阈值损失掩码对概念显著窗口施加梯度,保留目标概念外的生成能力。我们提出概念擦除评测基准ECGVF,利用多源大语言模型生成高质量对比提示对,并结合视觉分类器过滤目标概念视觉信息。实验表明,EAR在多个自回归模型上对物体、风格与敏感概念的平均擦除率达到91%,同时在无关提示上保持生成质量。

论文题目:FedTIS: Federated Text-to-Image Stylization via Topology-Guided Multi-Attribute Composition

论文作者:程悦(天津理工大学2024级研究生),亓帆*(内蒙古大学 教授),李帅(天津理工大学2023级博士生),张怀文(内蒙古大学 教授)

论文简介:针对联邦文本驱动图像风格化中存在的跨客户端语义-视觉冲突,以及多属性特征纠缠与聚合干扰问题,本文提出FedTIS框架。该方法通过多属性风格化适配器将不同风格提示转换为解耦的属性风格化适配器,实现笔触、线条、光照和色彩等属性的精细控制。同时构建三级风格树,对全局共享属性、风格属性和客户端个性化风格进行分层组织,并利用多属性兼容图,建模不同风格属性之间的组合关系。在联邦训练阶段,各客户端在冻结扩散模型主干的条件下,训练轻量化的属性适配器,并由服务器完成风格知识的分层聚合与兼容关系更新。实验表明,FedTIS在风格可控性、文本一致性、个性化保持和内容保真度等方面均优于现有方法,并在复杂多属性组合场景下表现出更强的稳定性与鲁棒性。

论文题目:Let Me Look at You: Advanced Facial Expression Modeling for Conversational Speech Synthesis

论文作者:胡一帆(内蒙古大学2023级博士生),何树伟(内蒙古大学2023级硕士生,百度),刘瑞*(内蒙古大学 教授),李海洲(香港中文大学[深圳]教授)

论文简介:对话语音合成旨在生成上下文一致、富有表现力和共情能力的语音。然而,现有方法忽视面部表情中的情感线索,限制了多模态情感理解。针对上述问题,我们提出FacialTalker,一种基于大语言模型的面部表情感知对话语音合成框架。我们设计AUTokenizer,在面部动作单元监督下将表情离散化为视觉词元,并提出DualDPO联合优化视觉与语音序列。此外,我们构建VSDD-1K数据集,包含千小时真实互联网对话数据。实验表明,FacialTalker在表情感知、语音质量和上下文一致性方面均优于现有方法。

论文题目:AuEmoChat: Authentic Emotion Understanding and Rendering for Conversational Speech Synthesis

论文作者:贾真琦(内蒙古大学2025级博士生),赵源(内蒙古大学2025级博士生),阿如汗(内蒙古大学2025级博士生),刘瑞*(内蒙古大学 教授),李海洲(香港中文大学[深圳]教授)

论文简介:针对现有对话语音合成依赖有限情感标签、难以表达真实细腻情感,以及多轮对话中冗余多模态 token 干扰上下文理解的问题,本文提出 AuEmoChat 框架。该方法通过 AuEmoCodec 从大规模情感语音中学习离散真实情感 token,并利用 AuEmoToMe 合并冗余上下文 token、保留情感相关信息;随后结合自回归文本—语音模型预测目标情感与语音 token,并通过 Authentic Emotion Flow Matching 联合对话上下文、目标情感和声学先验生成语音。实验表明,AuEmoChat 在 NCSSD-EmCap 数据集上优于现有 CSS 方法,可生成更真实、自然且富有表现力的情感语音。

论文题目:Foreground-Generalized RPN and Language-Guided Visual Augmentation for Open-Vocabulary Object Detection

论文作者:梁秋雨(内蒙古大学2024级博士生),张永强*(内蒙古大学 研究员)

论文简介:开放词汇目标检测旨在识别训练类别之外的目标。现有基于伪标签的方法仍存在两方面不足:一方面,RPN仅依赖基础类别标注进行训练,生成的候选区域易偏向已见类别;另一方面,新颖类别区域缺乏直接的语义监督,导致其区域表征判别性不足。为此,本文提出 FLDet,利用 Grounding DINO 提供的前景线索来增强 RPN 的泛化能力;语言引导的视觉增强模块进一步将 LLM 提供的粗粒度与细粒度语义知识注入区域特征。实验结果表明,FLDet 在多个开放词汇目标检测基准上取得了领先性能。

论文题目:MAR3: Multi-Agent Recognition, Reasoning, and Reflection for Reference Audio-Visual Segmentation

论文作者:赵源(内蒙古大学2025级博士生),贾真琦(内蒙古大学2025级博士生),张永强*(内蒙古大学 研究员)

论文简介:参考音频-视觉分割旨在依据指代表达中的多模态线索,分割有声视频中的目标对象。现有方法缺乏对表达难度和主导模态的显式识别,过度依赖指令微调数据进行目标推理,且缺少对分割结果的验证,易产生错误掩码。为此,本文提出无需训练的多智能体识别、推理与反思框架 MAR3。该框架引入德尔菲理论,构建共识多模态识别机制,结合模态主导难度规则进行自适应协同目标推理,并通过反思式学习分割迭代修正目标提示,从而提升掩码预测精度。

论文题目:Auto-Induced Multimodal Soft Evidence Distillation for Weakly Supervised Medical Diagnosis

论文作者:张佳强(内蒙古大学2023级博士研究生),李茹*(内蒙古大学 教授)

论文简介:针对现有弱监督医学影像诊断方法难以定位关键病灶、预测结果缺乏直观证据的问题,本文提出自动诱导多模态软证据蒸馏框架。该方法利用大语言模型将疾病标签扩展为可观察的视觉描述,通过冻结的BiomedCLIP教师生成并筛选局部证据图,进而构建软监督目标,指导学生模型联合学习疾病分类与病灶定位。实验表明,该方法在保持诊断性能的同时,有效提升了局部证据质量,且推理阶段仅需学生模型。

(统稿:杨洋 二审:王燕、李静 终审:黄翔)

地址:内蒙古呼和浩特市大学西路235号内蒙古大学计算机学院

版权所有 © 内蒙古大学计算机学院

官方微信