刘瑞
内蒙古大学骏马计划B1岗研究员（正高级），博士生导师。
办公地点：计算机学院503
E-mail:liurui_imu@163.com
团队主页：https://ttslr.github.io/
2010-2014太原理工大学学士学位
2014-2020内蒙古大学计算机学院 博士学位（导师：高光来教授）
2019-2020新加坡国立大学联合培养博士（国家公派）（导师：Prof.Haizhou Li）
2020-2022新加坡国立大学博士后研究员（合作导师：Prof.Haizhou Li）
主要研究方向包括语音信息处理、自然语言处理、多模态人机对话以及基于深度学习、大语言模型的多模态（语音、文本、图像等）信息处理等。研究成果发表于IEEE/ACM TASLP、IEEE-TAFFC、Neural Networks和ACMMM、AAAI、ICASSP、InterSpeech等相关领域顶级期刊和会议。近年来担任2023年语音领域顶级会议ICASSP分会主席（Session Chair）；2022年、2023年全国人机语音通讯学术会议（NCMMSC）工业联络主席；2024年亚洲语言处理国际会议（IALP2024）程序委员会主席。担任中国计算机学会（CCF）语音对话与听觉专委会执行委员兼秘书组成员、中国人工智能学会（CAAI）青年工作委员会委员、中国中文信息学会（CIPS）民族语言文字信息专业委员会执行委员、中国人工智能学会（CAAI）元宇宙技术委员会执行委员、中国计算机学会（CCF）人机交互专委会执行委员、中国计算机学会（CCF）多媒体专委会执行委员、中国图像图形学学会（CSIG）多媒体专委会执行委员等。曾获得教育部高等学校科学研究优秀成果奖（科学技术）—科学技术进步二等奖。主持国家自然科学基金项目2项。2023年入选内蒙古自治区“草原英才”工程。国家留学基金委评审专家。内蒙古青年科学家创新联盟成员，呼和浩特市第二批企业科技特派员。
招生信息：
[1]S2LAB (语音理解与生成研究组)
[2]推免生/考研生招生【长期有效】
欢迎计算机、软件工程、数学等专业学生报考硕士、博士生，优秀者可推荐至新加坡国立大学（NUS）、香港中文大学（深圳）等多个合作单位访问学习或联合培养；
欢迎本科生参与课题组科研训练、论文发表和项目申报等，具有ACM、数学建模、国创等经验者优先。
欢迎优秀博士生申请博士后！！！
科研成果：（完整列表见Google Scholar）
【期刊论文】
[1] Rui Liu, Haolin Zuo, Zheng Lian, Bjorn W. Schuller and Haizhou Li. Contrastive Learning based Modality-Invariant Feature Acquisition for Robust Multimodal Emotion Recognition with Missing Modalities.IEEE Transactions on Affective Computing (IEEE-TAC). 2024(情感计算领域顶级期刊, CAAI-A)
[2] Rui Liu,Berrak Sisman, Guanglai Gao and Haizhou Li. Controllable Accented Text-to-Speech Synthesis with Fine and Coarse-Grained Intensity Rendering.IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2024(语音领域顶级期刊, CAAI-A, TH-CPL-A)
[3] Rui Liu,Jinhua Zhang and Guanglai Gao.Multi-Space Channel Representation Learning for Mono-to-Binaural Conversion based Audio Deepfake Detection.Information Fusion. 2024(中科院一区Top期刊, CAAI-A)
[4] Rui Liu,Yifan Hu, Haolin Zuo, Zhaojie Luo, Longbiao Wang, Guanglai Gao. Text-to-Speech for Low-Resource Agglutinative Language with Morphology-Aware Language Model Pre-training.IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2024(语音领域顶级期刊, CAAI-A, TH-CPL-A)
[5] Rui Liu,Berrak Sisman, Guanglai Gao, Haizhou Li. Decoding Knowledge Transfer for Neural Text-to-Speech Training.IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2022(语音领域顶级期刊, CAAI-A, TH-CPL-A)
[6] Rui Liu,Berrak Sisman, Guanglai Gao, Haizhou Li. Expressive TTS Training with Frame and Style Reconstruction Loss.IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2021(语音领域顶级期刊, CAAI-A, TH-CPL-A)
[7] Rui Liu,Berrak Sisman, Feilong Bao, Jichen Yang, Guanglai Gao, Haizhou Li. Exploiting Morphological and Phonological Features to Improve Prosodic Phrasing for Mongolian Speech Synthesis.IEEE/ACM Transactions on Audio, Speech, and Language Processing (IEEE/ACM-TASLP). 2021(语音领域顶级期刊, CAAI-A, TH-CPL-A)
[8] Rui Liu,Berrak Sisman, Yixing Lin, Haizhou Li. FastTalker: A Neural Text-to-Speech Architecture with Shallow and Group Autoregression.Neural Networks. 2021(中科院计算机科学一区Top期刊)
【会议论文】
[1] Rui Liu,Yifan Hu, Yi Ren, Xiang Yin, Haizhou Li.Generative Expressive Conversational Speech Synthesis.The 32nd ACM International Conference on Multimedia (ACMMM’2024)(CCF-A,多媒体领域顶级会议)
[2]Rui Liu,Yifan Hu, Yi Ren, Xiang Yin, Haizhou Li. Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling.The 38th Annual AAAI Conference on Artificial Intelligence (AAAI’2024) (CCF-A,人工智能领域顶级会议)
[3]Haolin Zuo,Rui Liu *,Jinming Zhao, Guanglai Gao, Haizhou Li. Exploiting Modality-Invariant Feature for Robust Multimodal Emotion Recognition with Missing Modalities.2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP'2023).(语音领域顶级会议)
[4] Rui Liu,Haolin Zuo, De Hu, Guanglai Gao, Haizhou Li. Explicit Intensity Control for Accented Text-to-speech,24th Annual Conference of the International Speech Communication Association (INTERSPEECH'2023) , Oral.(语音领域顶级会议)
[5] Rui Liu,Jinhua Zhang, Guanglai Gao, Haizhou Li. Betray Oneself: A Novel Audio DeepFake Detection Model via Mono-to-Stereo Conversion,24th Annual Conference of the International Speech Communication Association (INTERSPEECH'2023) , Oral.(语音领域顶级会议)
[6]Aihong Huang, Feilong Bao, Guanglai Gao, Yu Shan, Rui Liu *.Mongolian emotional speech synthesis based on transfer learning and emotional embedding. 2021 International Conference on Asian Language Information Processing (IALP'2021)(Best Paper Award)
主持项目：
【科研项目】
2024年,国家自然科学基金面上项目（项目号62476146）《面向共情人机交互的对话语音合成大模型上下文感知方法研究》2025.1-2028.12,
2024年,教育部供需对接就业育人项目（项目号2024010242973）
2022年,国家自然科学基金青年科学基金项目（项目号62206136）《对话场景下语音合成深度情感建模研究》2023.1-2025.12,
2023年,广东省数字孪生人重点实验室（华南理工大学）开放课题, 2023.6.1-2024.5.30
2023年,内蒙古自治区“草原英才”工程项目
2022年,内蒙古自治区本级引进高层次人才科研支持,2023.7-2026.7
2023年,自治区留学人员创新创业启动支持计划
2023年,王宽诚教育基金会资助项目
2022年,内蒙古大学骏马计划高层次人才引进项目
2016年,内蒙古大学研究生科研创新项目
【教研项目】
2024“中国国际大学生创新大赛2024”项目挖掘与培育课题（实践教学课题）（校级教学改革项目）
所获奖励：
2024年9月,中国国际大学生创新大赛（2024）内蒙古赛区选拔赛优秀创新创业导师奖
2024年5月,首届内蒙古大学研究生教学成果奖，一等奖
2024年1月,第四届内蒙古大学教师教学创新大赛，二等奖
2023年6月,教育部高等学校科学研究优秀成果奖（科学技术）—科学技术进步二等奖（6/10）
2023年4月, 2022年ACM China新星奖（呼和浩特分会）
2021年12月, 2020年内蒙古自治区优秀博士学位论文（2/12）
2021年12月, IALP2021最佳论文奖（Best Paper Award）
2021年7月, 2020年ACM China优秀博士论文奖（呼和浩特分会）
2020年9月,内蒙古大学优秀博士学位论文
2020年2月, ICASSP IEEE SPS Travel Grant
2019年8月,中国国家留学基金委奖学金
2018年10月,博士研究生国家奖学金（top 2% students）,中华人民共和国教育部
2018年10月,内蒙古自治区学业奖学金
2017年10月,博士研究生国家奖学金（top 2% students）,中华人民共和国教育部
2017年10月,内蒙古自治区学业奖学金
2016年10月,内蒙古自治区学业奖学金
教学成果：
【比赛指导】
2024年中国国际大学生创新大赛（2024）内蒙古赛区选拔赛“青年红色筑梦之旅”赛道《阿尔泰电子-复杂文字古籍文献数字化一站式解决方案》，自治区金奖。（负责人:欧日乐克；指导教师：秦志宏，斯劳格劳，刘瑞，石磊）
2023年中国国际大学生创新大赛（2023）《鉴伪存真-多语种多模态可信AI鉴定助手》，国家级铜奖。（负责人:胡一帆；指导教师：刘瑞，秦志宏，石磊）
2023年大学生数字技能应用大赛“互联网+”技能应用赛，国家级三等奖。（负责人:贾真琦；指导教师：刘瑞）
2023年大学生数字技能应用大赛“互联网+”技能应用赛，省级三等奖。（负责人:赵源；指导教师：刘瑞）
2023年大学生数字技能应用大赛“互联网+”技能应用赛，省级一等奖。（负责人:何树伟；指导教师：刘瑞）
【项目/论文指导】
2024年《基于主动健康大樊型的多语种心理咨询机器人》，国家级大学生创新创业训练计划项目。（负责人:刘国伟；指导教师：刘瑞）
2024年《基于大语言模型的拟人化口语对话生成》，内蒙古大学2024年研究生科研创新项目（重点项目）。（负责人:胡一帆；指导教师：刘瑞）
2023年本科毕业设计《基于深度学习的对话语音情感强度预测研究》, 特优毕业论文。（学生：王丹祺；指导教师：刘瑞）
研究生团队：
【2022级】
左昊麟（博士）、张锦华（学硕）、刘彬（学硕）、刘欢（学硕）、席嘉甜（专硕）、马泽宁（专硕）、梁凯麟（专硕）
【2023级】
胡一帆（博士）、麻宇轩（博士）、高溥（学硕）、赵源（学硕）、王召阳（专硕）、鲜鹄鸿（专硕）、何树伟（专硕）、戈绍丽（专硕）、贾真琦（专硕）、袁宏宇（专硕）
【2024级】
张锦华（博士）、程文凯（学硕）、刘桧耀（学硕）、董瑞霖（学硕）、马涛（专硕）、赵英杰（专硕）、娄艺（专硕）
