當(dāng)前位置:首頁 >  科技 >  IT業(yè)界 >  正文

虎牙直播發(fā)布黑科技AI彈幕 可自動(dòng)閃避人像

 2018-11-14 10:43  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過

時(shí)至今日,我們?cè)谟^影、追劇、直播時(shí),發(fā)彈幕已成為大部分用戶的行為習(xí)慣。常規(guī)彈幕目前實(shí)現(xiàn)了彈幕與視頻分離,用戶可二選一,很好的規(guī)避了彈幕滿天飛的混沌狀態(tài)。但在直播、二次元等諸多的場(chǎng)景中,用戶更希望在不壓縮視頻質(zhì)量的情況下同時(shí)享受“看”與“說”。

“(Dan)幕”這個(gè)詞源于射擊游戲,彈幕網(wǎng)站也源于此, Niconico視頻網(wǎng)站是相對(duì)較早擁有彈幕功能的網(wǎng)站。隨后,彈幕網(wǎng)站憑借共鳴性、易操作性,及人人都能享受的再創(chuàng)作娛樂化與對(duì)話語權(quán)等特性風(fēng)靡。

自動(dòng)躲避人像的彈幕

近日,游戲直播平臺(tái)虎牙發(fā)布了AI智能彈幕功能,滿足了用戶“看”與“說”同時(shí)進(jìn)行的需求,當(dāng)用戶在彈幕設(shè)置中選擇該功能后,彈幕就會(huì)自動(dòng)躲避人像。也就是說,在直播過程中,用戶可以清晰的看到主播的整個(gè)臉以及整個(gè)輪廓。

虎牙AI產(chǎn)品總監(jiān)表示,在“大主播直播間、上電視玩法進(jìn)行時(shí)”等場(chǎng)景下,常常會(huì)出現(xiàn)高密度彈幕的現(xiàn)象,高密度彈幕會(huì)遮擋住主播,對(duì)于希望看到主播的用戶來說是一種干擾,而關(guān)閉彈幕又讓用戶無法看到精彩彈幕內(nèi)容且無法與其他用戶進(jìn)行互動(dòng)交流。為了改善這種現(xiàn)狀,許多視頻企業(yè)開發(fā)出了精簡(jiǎn)彈幕、半屏顯示以及調(diào)節(jié)彈幕透明度等多種手段,但這些依然不是最完美的解決方案。

虎牙直播采用背景分割技術(shù),能較好處理人和背景分離,實(shí)現(xiàn)智能彈幕。這項(xiàng)功能在虎牙娛樂品類得以實(shí)踐,而在有效分割了游戲主角和背景方面,虎牙表示后續(xù)該功能會(huì)繼續(xù)在游戲品類進(jìn)行嘗試拓展。

AI智能彈幕背后的那些技術(shù)

虎牙AI技術(shù)負(fù)責(zé)人表示,AI智能彈幕功能背后有兩大核心技術(shù),智能識(shí)別人像和人像掩碼的智能壓縮。

實(shí)時(shí)端上智能識(shí)別人像。實(shí)時(shí)端上智能人像動(dòng)態(tài)識(shí)別的技術(shù)原理是利用計(jì)算機(jī)圖像分析、模型理論、人工智能及模式識(shí)別技術(shù)的非接觸性高端模式識(shí)別技術(shù),從復(fù)雜的圖像場(chǎng)景中檢測(cè)出特征人臉信息,并進(jìn)行匹配識(shí)別的智能分析過程。

人像掩碼的智能壓縮。 利用人工智能技術(shù)識(shí)別出 “人像”區(qū)域像素集掩碼(mask),把掩碼用智能壓縮技術(shù) 壓入視頻流,觀眾端再把掩碼跟視頻幀同步解壓。幀跟掩碼一一對(duì)應(yīng),就可以知道幀中人像的精確位置。

在專訪中,虎牙AI技術(shù)負(fù)責(zé)人還向我們介紹了AI智能彈幕功能的特點(diǎn):

1、常規(guī)處理彈幕的做法是“離線(Offline)”和云上處理,需要面對(duì)的只是識(shí)別問題;而虎牙是針對(duì)直播進(jìn)行實(shí)時(shí)端上處理;

2、有的網(wǎng)站采用類似PS蒙版技術(shù),采用人工方式為特定視頻添加蒙版來模糊彈幕;而虎牙則采用人景分離技術(shù),讓人物與場(chǎng)景分離,讓彈幕在人物之后,場(chǎng)景之前;

3、AI智能彈幕與傳統(tǒng)直播彈幕相比,在幾乎不增加帶寬的前提下,把每幀的mask隨視頻流編碼。而常規(guī)方法在視頻點(diǎn)播的中則需要大量的流量來支撐彈幕傳輸。

用“黑科技”營(yíng)造極致用戶體驗(yàn)

當(dāng)問及識(shí)別、掩碼壓縮、幀與掩碼對(duì)應(yīng)等一系列操作,尤其在直播環(huán)境下,運(yùn)維方面是不是要花費(fèi)很大精力,也就是說,怎樣確保用戶體驗(yàn)不受到智能彈幕功能的影響?

虎牙AI技術(shù)負(fù)責(zé)人這樣回答,端上對(duì)AI體驗(yàn)最大的影響是計(jì)算量。 在虎牙設(shè)計(jì)AI彈幕功能時(shí),就考慮到了算力受限的問題。故把人像識(shí)別,mask編碼放在主播端進(jìn)行實(shí)時(shí)計(jì)算,不會(huì)影響到用戶的體驗(yàn)。在用戶端,僅需要增加計(jì)算解碼mask和mask掩碼生成,計(jì)算量非常小。但是涉及到AI背景分割技術(shù),游戲直播中落地的可能性還有待研究。

當(dāng)前,AI技術(shù)已經(jīng)在直播行業(yè)內(nèi)容的生產(chǎn)、分發(fā)、消費(fèi)、商業(yè)變現(xiàn)等多個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行嘗試和落地。前期主要的貢獻(xiàn)在于提升內(nèi)容分發(fā)的效率,未來則會(huì)進(jìn)一步變革直播內(nèi)容的生產(chǎn)方式,提升生產(chǎn)效率。AI的核心技術(shù)包括語音識(shí)別、圖像識(shí)別、自然語言處理,虎牙也會(huì)進(jìn)一步把這些技術(shù)落地到直播視頻的生產(chǎn)和分發(fā)中。

直播行業(yè)發(fā)展至今,從“千播大戰(zhàn)”到“大浪淘沙”,再到“激烈廝殺”,直播平臺(tái)簽約頭部主播從來都不惜重金。經(jīng)過很長(zhǎng)時(shí)間爭(zhēng)奪,游戲直播市場(chǎng)格局逐漸穩(wěn)定,AI智能彈幕功能更是為虎牙直播錦上添花。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
虎牙直播
直播平臺(tái)

相關(guān)文章

熱門排行

信息推薦