在习近平总书记考察内蒙古大学一周年之际,蒙古文智媒体技术联合实验室(内蒙古大学、内蒙古日报社)与内蒙古奥云信息技术服务有限公司通过一年的努力成功联合研发了国内首款蒙古语“奥云AI合成主播”。它采用蒙古语语音合成、蒙汉机器翻译、人脸关键点检测、人脸特征提取、人脸重构、唇语识别、手势姿态合成等多项前沿技术,并结合语音、图像等多模态信息进行建模训练后,生成与真人无异的蒙古语AI分身模型,进而提高信息表达和传递的效率。
“奥云AI合成主播”以蒙古文或汉文新闻稿件为输入,通过蒙汉相互自动翻译技术自动生成蒙汉双语稿件,并通过AI合成技术自动生成与蒙古文稿件对应的主播视频和双语字幕,可以对虚拟主播音视频生产编排,一键生成蒙古语音视频智能播报。该技术的成功突破对于蒙古文智能信息化和自治区智媒体发展具有重要意义。
图 蒙古语AI合成主播小道
参与该成果研发的人员有:飞龙副教授、张晖博士、高光来教授、娜木汗博士生、董林坤硕士生、单禹硕士生、黄爱红硕士生、金山(内蒙古日报社)、包智海(内蒙古日报社)、图力古尔(内蒙古广播电视台)、道力格洋(内蒙古广播电视台)等。