當(dāng)前位置:首頁 >  科技 >  移動(dòng)互聯(lián) >  正文

多場景實(shí)時(shí)音視頻通信激增背后,RTC 技術(shù)大爆發(fā)

 2021-04-23 11:11  來源: 互聯(lián)網(wǎng)   我來投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競價(jià),好“米”不錯(cuò)過

音視頻社交軟件 Clubhouse 的估值較 3 個(gè)月前又翻了兩番。當(dāng)?shù)貢r(shí)間 4 月 19 日,Clubhouse 宣布完成 C 輪融資,估值已達(dá) 40 億美元。

而這只是實(shí)時(shí)音視頻通信大爆發(fā)中的冰山一角。

在馬斯克“直播帶貨”的催化下,越來越多的語聊房產(chǎn)品出現(xiàn),F(xiàn)acebook 也被爆出即將推出 Clubhouse 同類競品。不僅如此,在線辦公、在線教育、泛娛樂場景中對實(shí)時(shí)音視頻的需求也在激增。

得益于 5G、RTC 等技術(shù)的發(fā)展,一間語聊房、或是活動(dòng)直播間、在線課堂等都可以快速完成搭建并發(fā)布,進(jìn)一步刺激實(shí)時(shí)音視頻市場。以融云實(shí)時(shí)音視頻服務(wù)為例,開發(fā)者只需三步,就可以在 30 分鐘內(nèi)快速集成音視頻能力:

l 第一步,申請開發(fā)者注冊,官網(wǎng)會發(fā)送 App key 等信息,下載 SDK。這一步驟通常十分鐘內(nèi)可以完成。

l 將下載好的 SDK 集成到自己的開發(fā)工具里,初始化 SDK,然后加入房間。初始化 SDK 可幫助初始化設(shè)備、音視頻相關(guān)參數(shù)等。

l 發(fā)布自己的音視頻流和訂閱別人的音視頻流。

5G 時(shí)代需要更便捷的 RTC 技術(shù)服務(wù)

為何市場需要快速集成實(shí)時(shí)音視頻的能力?

一方面,在 5G 的作用下,許多傳統(tǒng)互聯(lián)網(wǎng)場景中正在嵌入實(shí)時(shí)音視頻功能。另一方面,專注應(yīng)用層面的廠商需要以最小的成本,最快的速度上線功能,以支撐產(chǎn)品的發(fā)布和運(yùn)營。

融云 CTO 任杰認(rèn)為,5G 給 RTC 市場帶來兩大方面的變化。

一是 5G 的寬帶和延時(shí)有較大提升,所以未來高清的、低延遲的音視頻通話將會成為主流。在 4G 網(wǎng)絡(luò)之下,實(shí)時(shí)音視頻通話主流的為 720p,1080p 穩(wěn)定性略有不足。而在 5G來臨之后 ,1080p 甚至是更高清的 4K、8K 通話場景會普遍增加。

二是增加各種物聯(lián)網(wǎng)設(shè)備接入。此前 RTC 實(shí)時(shí)音視頻領(lǐng)域中,主要是移動(dòng)端、PC 端應(yīng)用。其他物聯(lián)網(wǎng)設(shè)備如車機(jī)、攝像頭、大屏設(shè)備等接入較少。任杰認(rèn)為,在 5G 到來之后,各種物聯(lián)網(wǎng)設(shè)備的接入場景也會增加。從技術(shù)層面看,5G 解決延遲問題之后,大量設(shè)備都可接入,許多實(shí)時(shí)操作系統(tǒng) ATOS ,以及 Linux 在 RTC 領(lǐng)域的應(yīng)用場景也會變得更加主流。

5G 的到來孕育了許多新生的實(shí)時(shí)音視頻應(yīng)用場景,這也意味著,RTC 技術(shù)服務(wù)商需要提供更好的支持。

“我們無論何時(shí)何地都 能提供高清、穩(wěn)定、流暢的音視頻體驗(yàn)。” 任杰總結(jié),RTC 領(lǐng)域相關(guān)技術(shù)很多,但融云的業(yè)務(wù)目標(biāo)僅此一個(gè)。當(dāng)然,在呈現(xiàn)給用戶優(yōu)質(zhì)的音視頻體驗(yàn)背后,融云會去解決網(wǎng)絡(luò)帶寬限制、音視頻處理等等技術(shù)問題。

RTC 技術(shù)服務(wù)商在做什么?

在高清、穩(wěn)定、流暢的音視頻服務(wù),以及“30 分鐘快速集成”背后,RTC 技術(shù)服務(wù)商要做的工作很多。

通常,RTC 技術(shù)??梢苑譃閮煞矫妫憾松系奶幚砗?server 端的處理。

端上的處理,主要為聲音和視頻的編解碼。編解碼完成后會進(jìn)行系列聲音和視頻的前處理,前處理包括回聲、降噪,嘯叫抑制,聲音增益,3A 算法等。server 端類似端上處理技術(shù),如錄音錄像等,但更側(cè)重傳輸層面,如網(wǎng)絡(luò)的優(yōu)化等。

網(wǎng)絡(luò)優(yōu)化又可以分成兩大部分:對抗弱網(wǎng),分布式網(wǎng)絡(luò)和調(diào)度。無論是5G、4G 還是 WiFi,只要是無線信號,都會遇到信號遮擋、衰減的問題,表現(xiàn)為網(wǎng)絡(luò)不太穩(wěn)定,經(jīng)常在瞬時(shí)的丟包會比較大,延遲也可能會突然變大。

另外,端點(diǎn)設(shè)備接入網(wǎng)絡(luò)路由之后,在兩個(gè)端或是多個(gè)端之間進(jìn)行實(shí)時(shí)音視頻流的傳輸,需要經(jīng)過多個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)。那么哪一套路徑能讓端點(diǎn)更好地接入,使傳輸流更穩(wěn)定,便是網(wǎng)絡(luò)路由的策略,也是分布式網(wǎng)絡(luò)與調(diào)度要解決的問題。

對于這些問題,融云從以下三方面做了優(yōu)化:

第一,弱網(wǎng)對抗相關(guān)算法的優(yōu)化,包括重新定義一些算法,對隨機(jī)丟包和帶寬受限,要嚴(yán)格區(qū)分并且能夠快速反應(yīng)等。

第二,動(dòng)態(tài)路由策略方面,融云會做一些提前探測,動(dòng)態(tài)檢查鏈路。大概可在3~4秒之內(nèi)發(fā)現(xiàn)鏈路變壞的情況,并立即重新調(diào)度,包括服務(wù)端、負(fù)載的一些調(diào)度,即分布式部署。

第三,全球網(wǎng)絡(luò)的部署,融云音視頻使用大量 IaaS,也和全球的一些機(jī)房合作,盡可能多地部署節(jié)點(diǎn)。同時(shí)對這些節(jié)點(diǎn)的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控、擴(kuò)容、增加節(jié)點(diǎn)等。后臺也有音視頻質(zhì)量的 QoE 系統(tǒng)監(jiān)控整個(gè)的網(wǎng)絡(luò),實(shí)時(shí)進(jìn)行調(diào)優(yōu)。

做開發(fā)者的支持方,而非競爭對手

“我們是 PaaS 提供方,會向上做 aPaaS,但不會直接做 to c 的產(chǎn)品”,任杰表示,只要復(fù)用程度較高,融云就會考慮將其向上封裝,幫助開發(fā)者的使用更加貼近場景化,但融云始終是面向開發(fā)者服務(wù),因此不會做 to c 產(chǎn)品,和開發(fā)者客戶形成競爭關(guān)系。

以語聊房為例,融云為語聊房應(yīng)用提供的支持集中在技術(shù)層面,使其呈現(xiàn)出的聲音效果更好。

在開發(fā)者花了 30 分鐘快速集成一個(gè)語聊房應(yīng)用之后,融云還會再根據(jù)業(yè)務(wù)場景做 SDK 調(diào)用和開發(fā),以便開發(fā)者可以更快速地實(shí)現(xiàn)使用混音、添加背景音樂、麥位管理、網(wǎng)絡(luò)信號展示等各種功能。

一是語聊房中麥位的相關(guān)控制。任杰表示,麥位支持依靠信令管理,因?yàn)橛卸嗄?IM 領(lǐng)域的積累,信令是融云的傳統(tǒng)優(yōu)勢,并且在語聊房方面融云也有一套完整的技術(shù)支持,可以更容易、更輕松地完成麥位管理。二是實(shí)時(shí)音視頻中聲音的相關(guān)處理,包括美聲、變聲,各種音效,混音之后的聲音效果等等。

任杰指出,由于 RTC 領(lǐng)域涉及到許多具體的音視頻概念,以及音視頻相關(guān)的質(zhì)量控制,開發(fā)環(huán)境有一定復(fù)雜度。SDK 本身越場景化,就會越容易集成,因?yàn)檫@對于開發(fā)者來說是隱藏技術(shù)細(xì)節(jié)的,所以大家提出應(yīng)該往 SaaS 化方向發(fā)展。

“在一定程度上我非常同意。對于我們 PaaS 能力的提供方 ,也最希望降低開發(fā)者成本,所以我們也在往上做,往 SaaS 和 PaaS 之間,做 aPaaS 能力。 比如我們在提供音視頻能力之外,也提供 MeetingLib 整套的控制信令體系,和音視頻流的一些操作直接相關(guān)。 ”

此時(shí)開發(fā)者使用這種 SDK,就無需太關(guān)注音視頻流的一些處理。比如需要禁麥時(shí),就在MeetingLib里通過一個(gè)標(biāo)準(zhǔn)接口操作。反之,如果沒有MeetingLib,開發(fā)者也可以用RTCLib自己做,但是就需要自己在應(yīng)用側(cè)發(fā)禁令,或者調(diào)用 IM 能力去給每個(gè)人發(fā)禁令,禁掉每個(gè)人的麥克風(fēng)。

“所以我們往上做一層,開發(fā)者就不用關(guān)注每一道具體流程,每一個(gè)用戶的狀態(tài)。”任杰表示,這就是他們目前正在做的。

此外,在客戶支持層面,融云也總結(jié)出最需要支持的兩類問題。

一類是 SDK 接入,即開發(fā)集成相關(guān)問題。任杰透露,客戶一般會先看文檔,或者是融云提供服務(wù)的支持體系,工單、支持群,以這種方式去幫助客戶完成集成工作。但由于大多數(shù)開發(fā)者對音視頻技術(shù)棧較為陌生,在遇到一些非通用的具體開發(fā)概念時(shí)會有難處。

對此,融云會在相關(guān)文檔中提供概要性說明,如編碼、幀率、碼率等基本概念的說明等。此外還有一些程序性說明,詳細(xì)描述 SDK 集成流程;提供 quick demo 以輔助開發(fā)者快速使用和集成。

另一類則是質(zhì)量相關(guān)的支持。因?yàn)橐粢曨l在實(shí)時(shí)通話過程中受網(wǎng)絡(luò)影響相對較大,端點(diǎn)網(wǎng)絡(luò)可能出現(xiàn)問題。“在這個(gè)過程中可能需要排查一系列的問題,我們也有自助平臺——北極星。”任杰稱,北極星本質(zhì)上是音視頻的一套 QoE 體系。這套體系會記錄每一通通話;全部過程中音視頻流的傳輸情況,包括傳輸?shù)拇a率,卡頓率,是否有黑屏等系列數(shù)據(jù)指標(biāo),數(shù)據(jù)曲線;開發(fā)者也可以在平臺上自助查詢通話質(zhì)量,統(tǒng)計(jì)指標(biāo)等。

下一代 RTC 市場

作為 RTC 市場技術(shù)服務(wù)商,融云最近正在做更新鮮的嘗試。

5G 催生了更多 VR 應(yīng)用,很快,VR 直播應(yīng)用也會到來。融云已和 VR 行業(yè)多家企業(yè)達(dá)成合作,目前為其提供遠(yuǎn)程維修、技術(shù)指導(dǎo)等服務(wù)。“隨著 5G 的推廣,娛樂業(yè)真正大規(guī)模的 to C 場景會逐漸出現(xiàn)。”

泛娛樂應(yīng)用是下一代 RTC 應(yīng)用的一大場景,除了正在爆發(fā)的語音房之外,還有直播、狼人殺、劇本殺、KTV 等等,以及不久的將來與 VR 融合的新場景。

此外還有辦公類應(yīng)用,包括會議場景,監(jiān)控場景等。任杰舉例,比如在公安、保安,應(yīng)急指揮工作的監(jiān)控場景中,也會涉及到一些設(shè)備的接入,包括 GB28181 的支持,SIP 的支持等等。在線教育場景中也涉及到許多細(xì)分應(yīng)用,如小班課、大班課、大直播、雙師等等。

近期,為了更好的賦能開發(fā)者探索更多新鮮應(yīng)用,融云還發(fā)起 20 萬分鐘免費(fèi)音視頻通享活動(dòng)。凡是開通實(shí)時(shí)音視頻功能的用戶,立享每月免費(fèi)200,000分鐘,視頻最高可支持1080P 超高清分辨率。

在 RTC 應(yīng)用爆發(fā)的當(dāng)下,融云作為通信云領(lǐng)域引領(lǐng)者,結(jié)合多年 IM 領(lǐng)域能力,已經(jīng)可提供覆蓋全通訊場景的技術(shù)服務(wù)。

任杰表示,融云的優(yōu)勢來自多方面:融云是公有云的 PaaS 提供方,IM 也做了很多年,而 99% 以上的 RTC 場景中都會用到 IM 相關(guān)能力,二者結(jié)合,融云會有很大的優(yōu)勢;此外,融云擁有非常專業(yè)的大規(guī)模團(tuán)隊(duì),并且在音視頻技術(shù)上大力投入,不斷迭代技術(shù)。“我們一家服務(wù)商可以通過‘RTC+IM+PUSH’的整合通信能力,以一套SDK覆蓋所有通信場景,只要找我們?nèi)谠埔患揖涂梢酝瓿蛇@件事。”

申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
云通信
社交軟件

相關(guān)文章

熱門排行

信息推薦