“AI合成主播”是在搜狗“分身”技術(shù)的支持下, 通過人臉關(guān)鍵點(diǎn)檢測、人臉特征提取、人臉重構(gòu)、唇語識別、情感遷移等多項(xiàng)前沿技術(shù),并結(jié)合語音、圖像等多模態(tài)信息進(jìn)行聯(lián)合建模訓(xùn)練后,生成與真人無異的AI分身模型。該項(xiàng)技術(shù)能夠?qū)⑺斎氲闹杏⑽奈谋咀詣由上鄳?yīng)內(nèi)容的視頻,并確保視頻中音頻和表情、唇動保持自然一致,展現(xiàn)與真人主播無異的信息傳達(dá)效果。
“AI合成主播”不僅有中文“AI合成主播”,同時(shí)還有以“聯(lián)接中外、溝通世界”為使命的英文“AI合成主播”。
2019年2月19日,搜狗公司與新華社新媒體中心聯(lián)合發(fā)布了首個站立式AI合成主播,新的AI合成主播從過去的“坐著播新聞”升級成結(jié)合肢體動作的“站立式播報(bào)”,標(biāo)志著“搜狗分身”技術(shù)再次取得突破。 2019年3月,新華社聯(lián)合搜狗公司近日在京發(fā)布全新升級的站立式AI合成主播,并推出全球首個AI合成女主播。 “AI合成主播”不僅在全球AI合成領(lǐng)域?qū)崿F(xiàn)了技術(shù)創(chuàng)新和突破,更是在新聞領(lǐng)域開創(chuàng)了實(shí)時(shí)音視頻與AI真人形象合成的先河。“AI合成主播”結(jié)合新華社“現(xiàn)場新聞”報(bào)道,將“AI合成主播”與短視頻一體化生產(chǎn)制作。 最新推出的站立式AI合成主播即將投入到2019年新華社全國兩會的報(bào)道籌備中,并將在搜狗搜索、輸入法等平臺上與用戶見面。 隨著“搜狗分身”技術(shù)能力的不斷提高,AI合成主播的定制周期也降低,合成效果和穩(wěn)定性也有提升。僅靠少量用戶真實(shí)音視頻數(shù)據(jù),即可定制出高逼真度的分身模型,幫助媒體在融媒體轉(zhuǎn)型、新聞時(shí)效性、跨語種傳播能力等領(lǐng)域升級。