近日，我院亓帆教授在通用手语视频生成方面的研究取得重要进展，相关论文“SignMoD: Sign Language Video Generation via Mixture of Diffusion”发表在CCF-A类人工智能领域国际顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》，影响因子20.8。我院亓帆教授为论文第一作者。

该论文针对手语视频时序连贯性难以保证，以及不同国家与地区手语在语法和手势表达上分布复杂多样这两大难题，提出了一种基于混合扩散的通用手语视频生成方法。该方法将状态空间模型引入视频扩散框架，构建手语状态空间模型，以线性复杂度高效建模长序列时序依赖，增强帧间过渡的平滑性和手语动作的连贯性；并设计混合扩散路径模块，通过专家路由为不同数据区域分配专门的语法专家与手势专家，结合低秩优化策略提升模型的鲁棒性与适应性。该方法能够以单一模型中实现多种手语视频生成，突破以往方法仅面向单一区域语义的局限，为手语视频生成提供了通用解决方案。

基于混合扩散的手语视频生成框架图

该研究工作得到了国家自然科学基金面上项目、国家自然科学基金重点项目课题和内蒙古大学骏马计划项目支持。

论文链接：https://doi.org/10.1109/TPAMI.2026.3698334

（撰稿：亓帆 二审：王燕、李静 终审：黄翔）