1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

遠(yuǎn)傳科技“數(shù)字主持人”誕生記:不是復(fù)制,而是創(chuàng)造一個(gè)新模態(tài)

 2021-05-31 14:27  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競價(jià),好“米”不錯(cuò)過

遠(yuǎn)傳科技從未停止“造人”的腳步。

除了有“AI虛擬主播”之外,現(xiàn)在連“數(shù)字主持人”也來了,“數(shù)字主持人”到底是什么呢?

遠(yuǎn)傳科技的“數(shù)字主持人”是通過語音合成、唇形合成、表情合成以及深度學(xué)習(xí)等技術(shù),克隆出具備和真人主播一樣播報(bào)能力的數(shù)字人。通過語音合成技術(shù)和視頻驅(qū)動(dòng)技術(shù),只需要輸入一段文本,它就能在屏幕展現(xiàn)虛擬數(shù)字人形象并進(jìn)行新聞播報(bào),且唇形動(dòng)作能與播報(bào)聲音實(shí)時(shí)同步。

或許在不久的未來,你再也分不清視頻中的主持人,究竟是真人還是虛擬人,而這一天正在到來。

一、根源探究:「高逼真」的背后

遠(yuǎn)傳科技“數(shù)字主持人”以真人為原型,通過將真人形象數(shù)字化掃描技術(shù),建立超寫實(shí) 3D 數(shù)字人建模,多模態(tài)識(shí)別及生成、實(shí)時(shí)面部動(dòng)作生成及驅(qū)動(dòng)、遷移學(xué)習(xí)等技術(shù)「熔爐」,煉就而成。

從效果上來說,3D AI 合成主播給人的最大印象便是高逼真,它較好的還原了真人的發(fā)膚、表情;同時(shí),靈活性、可塑性更強(qiáng),擁有的豐富的面部表情動(dòng)作,嘴部唇動(dòng),以及身體的輕微擺動(dòng),具備在更廣闊空間使用的潛力。

透過 3D AI 合成主播技術(shù)實(shí)現(xiàn)過程,我們探究它為何擁有如此逼真的效果。

1.數(shù)字化掃描技術(shù)還原真人形象

建立人物模型必須要有海量數(shù)據(jù),遠(yuǎn)傳科技數(shù)字化掃描技術(shù)通過攝像頭對真人原型的身體各個(gè)部位進(jìn)行全方位「打點(diǎn)」掃描,采集每一處細(xì)節(jié),并對其多種形態(tài)的面部表情動(dòng)作,嘴部唇動(dòng),以及身體的輕微擺動(dòng)進(jìn)行細(xì)致入微地捕捉記錄,還原真人形象。

2.深度學(xué)習(xí)算法生成3D數(shù)字人模型

遠(yuǎn)傳科技算法工程師熟練應(yīng)用深度學(xué)習(xí)算法,對算法里的大量參數(shù)進(jìn)行調(diào)優(yōu),確保生成的3D數(shù)字人模型能夠精確的還原真人在正常說話時(shí)候的唇部動(dòng)作,臉部表情及微動(dòng)作,對3D數(shù)字人模型進(jìn)行實(shí)時(shí)驅(qū)動(dòng)、渲染,使其面部肌肉驅(qū)動(dòng)、表情肢體和語言表達(dá)能力達(dá)到一個(gè)較高的度契合。確保非專業(yè)人士無法分辨出是真人拍攝的視頻還是通過數(shù)字技術(shù)合成出來的視頻。

二、核心亮點(diǎn): AI 驅(qū)動(dòng)、多模態(tài)交互

1.AI 驅(qū)動(dòng)的 3D 數(shù)字人

遠(yuǎn)傳科技“數(shù)字主持人”是一種由AI所驅(qū)動(dòng)的虛擬存在,擁有和真人一致的音容、笑貌和言談舉止,擁有表達(dá)情感和智慧的能力。仔細(xì)觀察你會(huì)發(fā)現(xiàn), 3D AI 合成主播是基于 AI 算法實(shí)現(xiàn)驅(qū)動(dòng)。

具體來說,3D “數(shù)字主持人”靠 AI 算法實(shí)時(shí)驅(qū)動(dòng),輸入一個(gè)文本就能輸出一個(gè)視頻,往往生成一個(gè) 1 分鐘的視頻,僅只需要 1 分鐘,幾乎可以看作實(shí)時(shí)生成。

2.關(guān)鍵技術(shù)賦能多模態(tài)交互創(chuàng)新

唇動(dòng)算法、3D建模技術(shù)、深度學(xué)習(xí)算法、5G通信等關(guān)鍵技術(shù)探索文本、語音和視覺多模態(tài)交互創(chuàng)新的無限可能。

遠(yuǎn)傳科技利用唇動(dòng)算法分析出數(shù)字人應(yīng)顯示的口型標(biāo)記,突破語言交流過程的表情和唇動(dòng)的無縫鏈接;根據(jù)給定人物形象要求,建立數(shù)字人3D模型,綁定骨骼,創(chuàng)立動(dòng)作動(dòng)畫和口型動(dòng)畫;基于深度學(xué)習(xí)算法、肢體捕捉技術(shù),將文本、音頻和圖片實(shí)時(shí)生成數(shù)字人視頻;5G通信技術(shù)則讓用戶跟數(shù)字人進(jìn)行語音視頻互動(dòng)成為可能,麥克風(fēng)和攝像頭捕捉用戶的語音和動(dòng)作,數(shù)字人的后端人工智能算法根據(jù)場景生成對應(yīng)的數(shù)字人交互動(dòng)作、表情和語音。

三、未來已來,你準(zhǔn)備好了嗎?

遠(yuǎn)傳科技“數(shù)字主持人”雖然基于真實(shí)的人進(jìn)行建模,但呈現(xiàn)在人們面前的行為都是完全逼真的,能像真實(shí)主播一樣,去笑,去哭,去表達(dá),是被創(chuàng)造出來的一個(gè)“數(shù)字人”。

數(shù)字人的未來將會(huì)作為主體人的一個(gè)副本形式存在于數(shù)字世界中,在未來的數(shù)字世界中我們將無法分辨出真人和數(shù)字人,大量在數(shù)字世界的服務(wù)將都會(huì)由數(shù)字人來代替,在電話客戶服務(wù)、線上產(chǎn)品講解、電商直播甚至線上演唱會(huì)等眾多場景都將會(huì)有數(shù)字人的角色參與,數(shù)字化終極未來也許就是數(shù)字人的世界。

你準(zhǔn)備好接受一個(gè)數(shù)字世界了嗎?

申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)文章

  • 庫克已納投名狀:蘋果AI沒得選,只能選百度

    蘋果16弄了兩個(gè)版本,一個(gè)是專門給中國人用的,準(zhǔn)備用百度的AI,還要交錢。第二個(gè)是全世界都可以用的,用了ChatGPT,包括臺(tái)灣、香港、澳門都可以用。以后都這樣了。好,問題就出在這,蘋果和百度的合作出現(xiàn)問題了,新聞連起來看,才能明白其中含義。新聞一:蘋果正在和騰訊、字節(jié)初步接洽,考慮將二者的AI模型

    標(biāo)簽:
    蘋果AI
    百度AI
    庫克
  • AI加速時(shí)代的“進(jìn)度條”,我們撥動(dòng)了百分之幾?

    “技術(shù)日新月異,人類生活方式正在快速轉(zhuǎn)變,這一切給人類歷史帶來了一系列不可思議的奇點(diǎn)。我們曾經(jīng)熟悉的一切,都開始變得陌生?!庇?jì)算機(jī)之父約翰·馮·諾依曼曾這樣說到。

    標(biāo)簽:
    ai智能
  • AI視頻賽道,要變天了

    “毀滅你,與你何干?”,這是在劉慈欣的科幻小說《三體》里用來形容人類與三體人之間的戰(zhàn)爭的一句話。

    標(biāo)簽:
    ai智能
  • “創(chuàng)造市場”與“算法進(jìn)化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要?jiǎng)?chuàng)造一個(gè)市場,而非一個(gè)算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個(gè)方向,或許已經(jīng)無法直接進(jìn)行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級(jí)抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動(dòng)化AIAgent構(gòu)建到執(zhí)行全自動(dòng)化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門檻實(shí)在智能重磅發(fā)布實(shí)

  • 崔大寶:大模型降溫背后的難點(diǎn)、卡點(diǎn)、節(jié)點(diǎn)

    崔大寶|節(jié)點(diǎn)財(cái)經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動(dòng)了,英偉達(dá)股價(jià)動(dòng)輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場,BATH們的推新活動(dòng)少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動(dòng)宣布“以厘計(jì)費(fèi)”,打響國內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個(gè)數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人
  • 來到IPO關(guān)口,地平線離“三分天下”還有多遠(yuǎn)?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會(huì)IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計(jì)籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級(jí)輔助駕駛(ADAS)和高階自動(dòng)駕駛(AD)解決方案供

  • 機(jī)器人大會(huì)引領(lǐng)產(chǎn)業(yè)動(dòng)向,卓翼飛思繪制無人系統(tǒng)教科研新藍(lán)圖

    8月21日,萬眾矚目的2024世界機(jī)器人大會(huì)暨博覽會(huì)在北京亦創(chuàng)國際會(huì)展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機(jī)器人盛會(huì),反映了當(dāng)下機(jī)器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計(jì)數(shù)據(jù),今年現(xiàn)場逛展觀眾高達(dá)25萬人次,比去年增加25%。機(jī)器人行業(yè)有多火?看看2024世界機(jī)器人大會(huì)火爆程度便可知

編輯推薦