2020 年 11 月 19 日，第四屆 EmTech China 全球新興科技峰會(huì)于蘇州市相城區(qū)召開。作為在全球享有盛譽(yù)，以權(quán)威見解深度解讀全球科技趨勢(shì)的盛會(huì)之一，《麻省理工科技評(píng)論》 的 EmTech 系列峰會(huì)已成為全球最具影響力的科技會(huì)議風(fēng)向標(biāo)。今年，EmTech China 2020 繼續(xù)以技術(shù)與商業(yè)的結(jié)合為主線，數(shù)十位世界頂級(jí)科學(xué)家、海內(nèi)外院士、商業(yè)領(lǐng)袖、科創(chuàng)精英蒞臨現(xiàn)場(chǎng)，探討新興科技發(fā)展現(xiàn)狀及其為人類社會(huì)帶來的巨大影響。此外，《麻省理工科技評(píng)論》“50 家聰明公司” 2020 年榜單也在現(xiàn)場(chǎng)重磅發(fā)布。

會(huì)上，小米技術(shù)委標(biāo)準(zhǔn)與新技術(shù)部音視頻標(biāo)準(zhǔn)總監(jiān) Mary-Luc Champel 分享了以《互聯(lián)世界》為主題的演講。以下為經(jīng)過整理的演講實(shí)錄：

之前演講的嘉賓認(rèn)為我們這些大的互聯(lián)網(wǎng)公司扼殺了小型的初創(chuàng)公司，其實(shí)我們小米的模式是不一樣的。小米的模式是建立生態(tài)系統(tǒng)，鼓勵(lì)每個(gè)人加入到平臺(tái)上來。今天我想跟大家介紹一下，類似小米這樣的互聯(lián)網(wǎng)公司，在 5G 服務(wù)上的多媒體編碼是如何做的，我們有很多的創(chuàng)新，這些創(chuàng)新會(huì)影響到大家。

小米的模式是建立生態(tài)系統(tǒng)

首先我想給大家介紹一下為什么我們有這樣的創(chuàng)新，然后給大家介紹體積視頻、未來的 XR 服務(wù)以及應(yīng)用于 5G 服務(wù)的視頻編解碼器。今年很多領(lǐng)域的發(fā)展是非常迅猛的，體積視頻、未來的 XR 服務(wù)是我們?nèi)蘸蟮陌l(fā)展趨勢(shì)。再然后我想跟大家介紹一下媒體傳輸，媒體傳輸是如何影響未來的。最后我想展望一下未來，也就是看一下 6G 服務(wù)未來的發(fā)展如何，我相信未來 5-10 年 6G 服務(wù)會(huì)實(shí)現(xiàn)。

現(xiàn)在有層出不窮的新型服務(wù)和新型用途，這給我們帶來了新的挑戰(zhàn)。當(dāng)然我們還可能有新的媒體形式，比如幾年前出現(xiàn)的媒體形式有圖片、視頻等?，F(xiàn)在我們有 3D 視頻，3D 視頻更加復(fù)雜，是加強(qiáng)版的視頻，同時(shí)還有 VR、AR 以及游戲等。

當(dāng)然這些新的媒體、新的服務(wù)要求我們有更高的帶寬、更低的時(shí)延。比如玩游戲播放視頻時(shí)，速度不夠快就會(huì)有時(shí)延；比如現(xiàn)場(chǎng)直播，你關(guān)注的足球隊(duì)正在參加世界杯，如果在臨門一角的關(guān)鍵時(shí)刻視頻卡頓了，觀眾就會(huì)非常著急?，F(xiàn)在很多國家的用戶需要居家隔離，帶寬的使用在大大增加。

一些用戶在家辦公，他們需要使用視頻會(huì)議的方式進(jìn)行交流。另外學(xué)生進(jìn)行在線教育學(xué)習(xí)時(shí)，如果在線學(xué)習(xí)平臺(tái)不能支持流暢的視頻播放，家長(zhǎng)和孩子們肯定會(huì)受到很大的影響。娛樂設(shè)施也會(huì)用到很多的帶寬。這些都需要更好的編解碼器，更好的帶寬管理以及更好的傳輸解決方案。在小米，我們的任務(wù)是克服這些新挑戰(zhàn)，以簡(jiǎn)單易用的方式為我們的用戶提供新服務(wù)。

現(xiàn)在的視頻編解碼器普遍使用 H.264 標(biāo)準(zhǔn)，它在 2003 年就被提出來，為什么大家現(xiàn)在還在使用？因?yàn)樗容^便宜，而且直到現(xiàn)在還是非常強(qiáng)大的技術(shù)。在 2013 年，VP9、H.265 (HEVC) 標(biāo)準(zhǔn)被制定，相比于 H.264，在同等視頻質(zhì)量下可以節(jié)省近 50% 的傳輸碼流。

在 2018 年，一些公司成立了開放媒體聯(lián)盟（AOM）組，提供可免費(fèi)使用的編解碼器 AV1，AV1 比 HEVC 標(biāo)準(zhǔn)下的編解碼的性能較好一些。但因?yàn)樗鼪]有獲得足夠的硬件支持，所以到目前為止取得了較小的成功。在 2020 年，H.266 (VVC)、MPEG-5 (EVC) 和 MPEG-5 (LCEVC) 標(biāo)準(zhǔn)被制定，其中，H.266（VVC）標(biāo)準(zhǔn)是由 ISO 和 ITU 聯(lián)合制定的。MPEG-5 (EVC) 標(biāo)準(zhǔn)是基于歷史悠久的工具做的，因此可以免費(fèi)使用，該標(biāo)準(zhǔn)采用了有限數(shù)量的新工具來實(shí)現(xiàn)更高的壓縮效率。

大家看到的是視頻編解碼器整體的變化趨勢(shì)，小米一直在密切關(guān)注這種變化趨勢(shì)，而且關(guān)注的重點(diǎn)在 3GPP 領(lǐng)域。3GPP 主要研究面向 5G 服務(wù)的視頻編解碼器（包括下一代編解碼器，如 VVC 和 EVC）。小米現(xiàn)在也在關(guān)注 5G 的發(fā)展，我們想看一下未來整個(gè)的應(yīng)用趨勢(shì)和未來的編解碼器解決方案，考慮是否可以在相同視頻質(zhì)量水平下降低所需的壓縮碼率，或者可以在相同壓縮碼率下提高視頻質(zhì)量。

另外 3GPP 已經(jīng)探索出了評(píng)估編解碼器的多種用途，這些用途包括是不是純高清流媒體、4K 電視服務(wù)、在線游戲、屏幕以及內(nèi)容分享等等。針對(duì)每一個(gè)應(yīng)用都提供了測(cè)試序列，在編碼時(shí)也考慮了操作的限制，比如在有時(shí)延的情況下用戶很難有愉快的游戲體驗(yàn)。另外對(duì)于 AVC 和 HEVC，我們使用行業(yè)公認(rèn)的衡量標(biāo)準(zhǔn)，公認(rèn)的衡量標(biāo)準(zhǔn)包括 PSNR、SSIM 和 VMAF。

二維視頻、三維視頻和體積視頻

在這些領(lǐng)域我們已經(jīng)花了大概兩年多的時(shí)間進(jìn)行研究，接下來我想給大家介紹體積視頻，我們之前講的是二維視頻和三維視頻，接下來講的加強(qiáng)版的視頻類型是體積視頻。體積視頻可以移動(dòng)，當(dāng)你移動(dòng)自己的時(shí)候就會(huì)產(chǎn)生 3D 的體驗(yàn)，用戶可以看到不同深度的東西。在這里我們可以看到這個(gè)視頻，雖然是平面的視頻，但是如果你在其中就可以體驗(yàn)到體積效果，感受到體積效果的原因是它支持交互式視差。我們從參考視頻和深度圖中渲染這些幀，編碼的內(nèi)容包括視頻、深度圖以及遮擋物體地圖，利用這些數(shù)據(jù)我們可以得到重建幀。

另外，小米在做一些場(chǎng)景描述的工作，如果要讓用戶有更加豐富的體驗(yàn)，我們必須將視頻和音頻相結(jié)合，而且將 3D 的內(nèi)容和互動(dòng)的內(nèi)容加入其中。目前是沒有這樣的技術(shù)能把這些全都整合到一塊。

同樣還有一點(diǎn)非常重要，就是我們關(guān)注與研究的點(diǎn)云編碼 (PCC) 方向，也就是點(diǎn)以及空間的編碼。點(diǎn)云中有數(shù)不清的點(diǎn)，它可以用于實(shí)時(shí)直播，你可以讓這里面的人物旋轉(zhuǎn)，還可以有渲染的功能。點(diǎn)云也可以應(yīng)用于 3D 物體，即用于環(huán)境監(jiān)測(cè)的雷達(dá)，用雷達(dá)監(jiān)測(cè)出來的復(fù)雜場(chǎng)景可以變成 3D 的點(diǎn)云。3D 點(diǎn)云視頻也可以應(yīng)用在文化遺跡的捕捉上，可以用于保護(hù)我們的文物古跡。

MPEG 的 PCC 中有兩種技術(shù)方法，一種是基于視頻的編碼方法 VPCC，另一種是基于幾何的編碼方法 GPCC。VPCC 采用傳統(tǒng)的視頻編解碼器來處理點(diǎn)云，這是非常好的解決方案，這種方法可以用于密集和動(dòng)態(tài)點(diǎn)云的壓縮。GPCC 方法適用于稀疏的點(diǎn)云數(shù)據(jù)，下一代 GPCC 將會(huì)支持動(dòng)態(tài)點(diǎn)云。該方法采用幾何編碼，將點(diǎn)云數(shù)據(jù)放入一個(gè)立方體，該立方體會(huì)被劃分成 8 個(gè)子立方體，根據(jù)每個(gè)子立方體的空間占用模式對(duì)它們進(jìn)行迭代劃分，直至子立方體中只有一個(gè)點(diǎn)。

這是我們推導(dǎo)出來的空間占用模式。在編碼時(shí)，點(diǎn)的查找路徑中有很多冗余信息，GPCC 可以幫助減少這些冗余，從而減少編碼所需比特，因此 GPCC 是非常有潛力的一種編碼方法。上個(gè)月 MPEG 剛剛完成了 GPCC 第一版的編碼器?？梢越o大家看一下我們實(shí)現(xiàn)的編碼方法，大家可以看到小的立方體全都已經(jīng)被創(chuàng)建出來了，可以逐漸確定它的占用模式。

XR 技術(shù)可幫助用戶隨時(shí)隨地使用設(shè)備

在未來，我們還會(huì)看到什么樣的技術(shù)呢？

比如XR 技術(shù)是一項(xiàng)很有意思的技術(shù)，可以給用戶很多不一樣的體驗(yàn)，尤其在線上游戲中會(huì)被經(jīng)常用到，也可以幫助用戶在任何時(shí)候任何地方使用任何的設(shè)備。分布式計(jì)算、分割渲染、VR 直播也是重要的應(yīng)用領(lǐng)域。如果想要一個(gè) 360 度的視頻，其中會(huì)有很多的數(shù)據(jù)，但是我不知道在我后面的是什么，如果我要快速地旋轉(zhuǎn)，需要把我背后的這些數(shù)據(jù)都傳過來，只有這樣才能夠使用戶有 360 度的視角。依賴于 VR 視角的流媒體可以幫我們預(yù)測(cè)用戶在接下來會(huì)有什么樣的動(dòng)作，提前把這些數(shù)據(jù)進(jìn)行傳輸。

另一個(gè)方面是媒體傳輸技術(shù)。這里是基于 HTTP CDN 的流媒體，YouTube、愛奇藝、騰訊視頻、蘋果都在采用基于 HTTP CDN 的解決方案。HTTP CDN 要連接起來是非常簡(jiǎn)單的，客戶端能夠根據(jù)帶寬獲取質(zhì)量最高的內(nèi)容。很多信息或者數(shù)據(jù)都會(huì)被部署在 CDN 上面，由客戶端來決定需要獲取的內(nèi)容，可以實(shí)時(shí)地根據(jù)客戶端的帶寬，直接去下載對(duì)應(yīng)的資源或者內(nèi)容。

媒體傳輸還有一種新的技術(shù)叫 CMAF，它是一種新的應(yīng)用格式。內(nèi)容的提供商對(duì)于相同的內(nèi)容有很多不同的版本、不同的質(zhì)量以及不同的加密方式，CMAF 可以為所有版本提供共同的格式，可以應(yīng)用于一些基于 HTTP 的框架，比如 DASH 和 HLS，所以采用 CMAF 能夠有相同的網(wǎng)絡(luò)分發(fā)，去解決客戶的需求?？蛻舳丝梢允仟?dú)立的，也可以采用支持 HLS 或 DASH 的網(wǎng)頁瀏覽器。CMAF 是非常有意思的一種技術(shù)，因?yàn)榭梢灾С?MSE，CMAF 可以由 MSE 的客戶端來進(jìn)行使用。如果大家對(duì)于 CMAF 的媒體傳輸感興趣的話，下一個(gè)月會(huì)有專門的會(huì)議，時(shí)間大概是半天，我們會(huì)具體討論 CMAF 的一些應(yīng)用和部署。

5G 的停留和 6G 的展望

最后我想講一講 3GPP。一開始我們有移動(dòng)電話 (1G,2G)，之后我們有了流量數(shù)據(jù)（3G），有了 3G 之后我們可以通過手機(jī)上網(wǎng)，之后有了寬帶（4G），我們小小的手機(jī)也可以觀看或者發(fā)起直播。我們現(xiàn)在已經(jīng)不僅僅用手機(jī)打電話了，而是用它上網(wǎng)。現(xiàn)在有了 5G，又有了新的生態(tài)系統(tǒng)，緊隨其后的是上面接入了很多服務(wù)模塊。我們不僅停留在 5G，還在展望 6G。

5G 現(xiàn)在在中國已經(jīng)很流行了，中國很多的公司已經(jīng)在講 6G 了。那么 6G 到底是什么？6G 其實(shí)就是混合的模塊，把我們的物理世界、虛擬世界以及數(shù)字世界結(jié)合起來，用戶則是站在這幾個(gè)不同世界的中間。這就是我的介紹，謝謝。

責(zé)任編輯：xj

原文標(biāo)題：EmTech China現(xiàn)場(chǎng)直擊丨小米技術(shù)委標(biāo)準(zhǔn)與新技術(shù)部音視頻標(biāo)準(zhǔn)總監(jiān)Mary-Luc Champel：小米模式是建立生態(tài)系統(tǒng)

文章出處：【微信公眾號(hào)：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。