導(dǎo)語

支撐全真互聯(lián)網(wǎng)的基礎(chǔ)網(wǎng)絡(luò)包括實(shí)時音視頻通信網(wǎng)絡(luò)、即時通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。隨著社會的進(jìn)步，人們對低延時即時通信的需求越來越高。本次LiveVideoStackCon 2021上海站大會邀請到了負(fù)責(zé)騰訊云千億級底層通信網(wǎng)絡(luò)的劉然，他為我們分享了穩(wěn)健、可靠的全真即時通信網(wǎng)的架構(gòu)與應(yīng)用實(shí)踐。

大家下午好，我是來自騰訊云通信的后臺研發(fā)劉然。剛剛提到全真互聯(lián)網(wǎng)及“三合一”基礎(chǔ)網(wǎng)絡(luò)RT-ONE，它具體包括了實(shí)時音視頻通信網(wǎng)絡(luò)、即時通信網(wǎng)絡(luò)和流媒體分發(fā)網(wǎng)絡(luò)。前面薛笛已經(jīng)為大家介紹了實(shí)時音視頻通信網(wǎng)絡(luò)，接下來我給大家分享即時通信網(wǎng)絡(luò)的一些技術(shù)點(diǎn)和應(yīng)用場景實(shí)踐。 今天分享將從4個方面展開，包括即時通信網(wǎng)的介紹、核心技術(shù)點(diǎn)、融合場景的解決方案以及典型的應(yīng)用場景。

01

即時通信網(wǎng)簡介

即時通信網(wǎng)絡(luò)可以用來做什么呢？包括信令消息、雙人或者多人音視頻通話的邀請請求、上下麥的連麥請求、教育白板里的白板軌跡、直播場景下的紅包，點(diǎn)贊，送禮等。除此之外，我們還有社交的場景——單聊、群聊、直播大房間，以及圖文、語音、視頻、自定義消息，在終端方面支持全平臺多功能覆蓋，支持微信、QQ、支付寶、百度、頭條等類似的小程序。從數(shù)據(jù)上看，騰訊云即時通信IM的月活已經(jīng)超過QQ的月活，海外也有數(shù)千萬的用戶分布在200多個國家和地區(qū)。

上圖是騰訊云即時通信的基本架構(gòu)。SDK層可分為網(wǎng)絡(luò)連接層、邏輯層、數(shù)據(jù)層和監(jiān)控，在此之上是API接口層，再往上是給開發(fā)者提供的TUIKIT，這是一種非常方便的aPaaS的能力。除了SDK，后臺模塊也有很多，除了最上層的接入層，還有業(yè)務(wù)邏輯層、數(shù)據(jù)存儲層，以及一些和運(yùn)營系統(tǒng)相關(guān)的邏輯。做IM要考慮到很多點(diǎn)，包括高可靠、高性能、高可用、可擴(kuò)展和安全性等等，另外還有日常的開發(fā)運(yùn)營維護(hù)等成本。

如何快速搭建一套IM系統(tǒng)呢？

現(xiàn)在只需要集成騰訊云SDK就可以輕松實(shí)現(xiàn)，騰訊云提供了全平臺、多終端SDK，它和騰訊云后臺打通以后，就可以和業(yè)務(wù)后臺進(jìn)行交互。在疫情中發(fā)揮重要的明星產(chǎn)品騰訊會議之所以能夠抓住機(jī)會，是各方面因素的共同結(jié)果，這其中非常重要的一點(diǎn)是騰訊會議的底層運(yùn)用了我們的全套通信能力，包括實(shí)時音視頻、IM、PSTN、TPNS等能力。

基于這些基礎(chǔ)能力的支撐，騰訊會議可以把更多的精力放在核心能力打造上，這也是我們做PaaS服務(wù)的初心——基于多年的積累把基礎(chǔ)的能力產(chǎn)品化再將其商業(yè)化，并開放給開發(fā)者，這樣除了可以降本增效，還可以加速業(yè)務(wù)創(chuàng)新。這個能力除了騰訊會議，騰訊公司內(nèi)部有幾十款產(chǎn)品都在使用，并且國內(nèi)外的開發(fā)者和客戶多達(dá)數(shù)十萬家。

02

核心技術(shù)點(diǎn)分享

前面簡單介紹了IM，接下來我將針對其中設(shè)計(jì)的核心技術(shù)點(diǎn)做詳細(xì)講解。我們今天的主題是全真互聯(lián)網(wǎng)，所以不論是IM、音視頻流媒體還是實(shí)時音視頻都離不開網(wǎng)絡(luò)。

2.1 IM全球加速網(wǎng)絡(luò)

現(xiàn)在跨國之間的通信有兩種，一種是衛(wèi)星通信，另一種是海底光纜通信。因?yàn)樾l(wèi)星通信成本高、帶寬低，所以目前的應(yīng)用還不是十分廣泛。因此，大部分的通信方式都是依靠海底光纜。 我國海底光纜現(xiàn)狀有三點(diǎn)：首先，國際網(wǎng)絡(luò)環(huán)境復(fù)雜，容易抖動丟包。其次，整個中國出口的帶寬很小。

《CNNIC第47次中國互聯(lián)網(wǎng)報告》提到整個中國出口帶寬大概是11.5T，雖然每年的增長速度很快，但是相比去年全球400T的規(guī)模還是非常小的。全球人口總計(jì)70多億，互聯(lián)網(wǎng)人口只有40多億，中國可能只占據(jù)10多億。對比可以發(fā)現(xiàn)中國人均的帶寬非常低，經(jīng)常出現(xiàn)擁塞問題。最后國際訪問經(jīng)常繞行，直連時延高。在這樣的背景之下，IM會有登錄慢、斷網(wǎng)和消息延時的現(xiàn)象。

上圖是騰訊云實(shí)測的從廣州到雅加達(dá)的路由數(shù)據(jù)，這個數(shù)據(jù)是繞行的，大概在260ms。正常情況下，通過騰訊云自己的網(wǎng)絡(luò)，例如從廣州到香港或者到新加坡的直連、再到雅加達(dá)，大概只有50+ ms，差距很明顯。一個好消息是前不久騰訊云在雅加達(dá)正式開區(qū)了，那里有騰訊自建的數(shù)據(jù)中心，能將我們的能力更多的覆蓋到東南亞地區(qū)。

2.2 IM全球網(wǎng)絡(luò)加速能力

當(dāng)前騰訊云全球加速能力已經(jīng)覆蓋六大洲的主要國家，包括120個接入點(diǎn)、2100+節(jié)點(diǎn)，提供了全球的服務(wù)。10或20年前，中國企業(yè)更多的是設(shè)備廠商出海，例如華為、聯(lián)想和TCL這樣的企業(yè)。移動互聯(lián)網(wǎng)的到來促使了更多的工具類企業(yè)出海，獵豹移動就是比較成功的案例，之后包括電商、社交、游戲、短視頻相關(guān)的出海在不斷增加。雖然現(xiàn)在國際形勢比較緊張，但是全球化對于中國來說是非常好的機(jī)會，希望大家能把握好這個機(jī)會，把業(yè)務(wù)向全球拓展。

2.3 系統(tǒng)架構(gòu)與加速原理

如果想打造高速的網(wǎng)絡(luò)，不僅需要了解如何選擇一個最近的點(diǎn)，還需要知道如何在路由之間快速地交換以到達(dá)自己的源站。有三個核心點(diǎn)——如何選擇最優(yōu)接入、如何選擇最快的路由以及如何提升傳輸速率。

2.3.1 精準(zhǔn)IP調(diào)度

接入點(diǎn)方面，騰訊云有自己的公網(wǎng)評測平臺，對各種加速點(diǎn)的數(shù)據(jù)進(jìn)行實(shí)時計(jì)算，然后生成一個調(diào)度平臺。當(dāng)用戶接入時，根據(jù)調(diào)度平臺為用戶選擇一個最優(yōu)的接入點(diǎn)。同時，因?yàn)檫@個平臺是實(shí)時的，所以在用戶使用中也會進(jìn)行實(shí)時的干預(yù)。當(dāng)發(fā)現(xiàn)有最優(yōu)的路徑后，平臺會將調(diào)度信息推送給用戶側(cè)，用戶下次使用時會選擇最優(yōu)的路徑。

上圖右側(cè)是我們實(shí)時干預(yù)以后的效果展示。在馬尼拉的網(wǎng)絡(luò)出現(xiàn)故障以后，郵件告警即使生成，平臺把馬尼拉的路徑即時屏蔽掉，自動選擇其他的路徑進(jìn)行調(diào)度，做到對用戶側(cè)無感，同時也極大了提升了接入質(zhì)量和運(yùn)營效率。

2.3.2 通信協(xié)議優(yōu)化

找到最優(yōu)接入點(diǎn)后，我們在路由之間做了一些協(xié)議改造。用戶一開始是以TCP或者UDP的方式傳輸，接著在路由之間是以QUIC加速的方式進(jìn)行路由的中轉(zhuǎn)。QUIC的0RTT、連接復(fù)用和擁塞控制算法等能力都是非常優(yōu)秀的。在數(shù)據(jù)安全方面，客戶在做業(yè)務(wù)時大多都有自己的數(shù)據(jù)包加密，騰訊云的路由之間也有數(shù)據(jù)加密，同時會有預(yù)建連等技術(shù)，這里就不詳細(xì)介紹了。

2.3.3 最優(yōu)路由選址

那么如何選擇路線呢？比如上圖從迪拜到圣保羅可能有兩條路徑：一條是公網(wǎng)路徑，另一條是全球加速路徑。如果走公網(wǎng)，雖然看起來距離會短一些，但數(shù)據(jù)時延為459ms；而通過騰訊云中轉(zhuǎn)，經(jīng)過倫敦再到迪拜，整個過程只需要304ms。我們將每個加速點(diǎn)都作為一個節(jié)點(diǎn)，加速點(diǎn)與加速點(diǎn)之間有一個邊連接，根據(jù)時延和丟包率計(jì)算出一個等比的邊，再根據(jù)邊的長度選擇一個最優(yōu)的路徑。

同時，如果回來時存在另一條最優(yōu)的路徑，那么會選擇這條最優(yōu)路徑，而不是之前的，這樣就可以保證回程、去程的雙面加速，最后補(bǔ)充下，我們是在公網(wǎng)和專線之間選擇一個最優(yōu)的網(wǎng)絡(luò)，并不是說一定會走專線。

2.3.4 多路無狀態(tài)傳輸

路徑選好后，我們需要考慮如何提升傳輸速率，做法是將大包智能拆分成小包，小包通過多路并行傳輸，最后到達(dá)源站，這種方式可以提升效率，在一些場景下還會有小包合并為大包。兩邊會有狀態(tài)，但是在鏈路中間是無狀態(tài)的，如果節(jié)點(diǎn)之間有抖動可以做到秒級踢出。此外，路徑之間還有預(yù)建連和連接復(fù)用的技術(shù)。

上圖展現(xiàn)的是實(shí)際效果，一些區(qū)域的效果是非常明顯的——通過騰訊云加速，時延可以從200多ms降低到30多ms。通過測試，全球鏈路時延不超過300ms，實(shí)際驗(yàn)證可以把平均時延降低24%，同時請求成功率提升17%。

2.4 可靠的消息系統(tǒng)

對于IM來說，完成選路以后，無論是信令消息還是其他普通消息，保證可靠性都是至關(guān)重要的，接下來和大家分享騰訊云消息系統(tǒng)的機(jī)制。大家從網(wǎng)上可能了解到QQ和微信的一些做法，微信是使用寫擴(kuò)散的方式，但不管是寫擴(kuò)散還是讀擴(kuò)散，都是在一定業(yè)務(wù)場景之下來考慮的。

騰訊云選擇的是讀擴(kuò)散的模式。從上圖可以看到，對于收件人來說，以收件人為維度來儲存消息；對于群來說，是以群為維度儲存消息。消息的狀態(tài)一共有三種——已確認(rèn)、未確認(rèn)和待下發(fā)。收消息采用推拉結(jié)合的方式，當(dāng)一個消息出現(xiàn)，會把消息內(nèi)容和通知發(fā)給接收端，接收端再上傳把消息拉回來。這里面會有sequence或者騰訊云自己的cookie控制時序的問題。

對于群聊，目前是通過讀擴(kuò)散的模型。如果群比較小，寫擴(kuò)散確實(shí)比較方便，但當(dāng)群的數(shù)量越來越大，比如微信群的數(shù)量上限是500人，可以使用寫擴(kuò)散，而微信的視頻號和直播要使用寫擴(kuò)散的模式是行不通的，很多都已經(jīng)改成了讀擴(kuò)散的模式。騰訊云不僅可以支持500人的群，2000人乃至萬人的大群都能支持。

上圖是我們自研消息存儲引擎，分為索引層和數(shù)據(jù)層，這是基本的拉消息的機(jī)制。目前騰訊云自己的能力已經(jīng)可以支持多拷貝的存儲，索引全部存在內(nèi)存里，數(shù)據(jù)會分為冷、熱數(shù)據(jù)。熱數(shù)據(jù)會存在SSD盤里，冷數(shù)據(jù)會繼續(xù)下沉到云硬盤。此外，騰訊云還支持?jǐn)?shù)據(jù)加密，同時我們在拉取數(shù)據(jù)方面也會更加靈活，支持指定SEQ拉取、指定時間區(qū)段拉取。

2.5 億級別狀態(tài)系統(tǒng)

對于IM來說，狀態(tài)系統(tǒng)也是非常重要的一點(diǎn)。舉個例子來理解狀態(tài)系統(tǒng)，比如上下線——最開始的PC端QQ是否在線的狀態(tài)。當(dāng)需要消息PUSH的時候，首先要查在線還是不在線，在線狀態(tài)才能走自己的PUSH通道，如果不在線就要通過廠商的離線PUSH通道。

對于狀態(tài)系統(tǒng)，采用分SHARD的模式，通過uin，做一致性哈希，分成一個個SHARD。SHARD支持水平擴(kuò)展，對于每一個SHARD，也可支持垂直擴(kuò)展，比如現(xiàn)在有三臺機(jī)器，隨著不斷增長的業(yè)務(wù)量，可以擴(kuò)展成4臺或者5臺，擴(kuò)容是非常高效的。除了在單地域，騰訊云可以多AZ或跨Region同步狀態(tài)實(shí)施。

例如為了提升系統(tǒng)穩(wěn)定性，可以在上海和廣州各部署一臺，消息真正擴(kuò)散的時候，并不是去遠(yuǎn)程查詢（常規(guī)的做法是狀態(tài)存在Redis里，通過RPC的方式進(jìn)行查詢）。騰訊云會分成多個SHARD，每一塊只負(fù)責(zé)某一個區(qū)段的帳號，當(dāng)把信息請求過來時，只需要本地查詢就能將消息下發(fā)下去，非常高效。

在做微信視頻號的時候，有提到如果把一億個人拉到一個群里會怎樣？這一定需要讀擴(kuò)散的模式，寫擴(kuò)散是完全不行的，這也是騰訊云即時通信IM的一個特色——無人數(shù)上限的直播群，很多客戶都會用到。這是一個基本的交互邏輯，看起來只是比較簡單的系統(tǒng)收發(fā)，里面其實(shí)存在多級擴(kuò)散。

當(dāng)收到消息后，經(jīng)過邏輯層的擴(kuò)散，將其存儲到一個類似數(shù)據(jù)存儲層的結(jié)構(gòu)里——這個數(shù)據(jù)存儲層可以儲存2分鐘或者5分鐘的一段時間內(nèi)全部的消息，當(dāng)用戶來拉取的時候，會按照就近的方式拉取。我們這里對消息采取一寫多讀的方式，具體的消息是一個環(huán)形的BUFFER，會記錄消息的偏移量，直播大群的群號、群ID、群消息的范圍也在里面。

另外，網(wǎng)絡(luò)通信會有抖動和丟包，所以我們做了一個兜底的策略，將消息保存在高保障可靠存儲系統(tǒng)，當(dāng)發(fā)現(xiàn)消息的SEQ出現(xiàn)斷層，可以補(bǔ)拉，從而保證消息的高可靠。

上圖是實(shí)際的補(bǔ)拉機(jī)制。補(bǔ)拉除了分鐘粒度維護(hù)索引之外，消息也會分優(yōu)先級。一個百萬人或者千萬人直播群的消息量是非常大的，消息里面可以設(shè)置優(yōu)先級，比如把紅包設(shè)置為高優(yōu)先級消息，點(diǎn)贊、送禮、彈幕設(shè)置為低優(yōu)先級消息，這樣可以保證紅包不會因?yàn)橄⑦^多而丟失。騰訊云對此有一個淘汰機(jī)制，高優(yōu)先級消息會全量保存，這樣當(dāng)客戶來拉消息是可以跳過非關(guān)鍵的彈幕數(shù)據(jù)，直接把高優(yōu)先級數(shù)據(jù)合并后發(fā)給用戶端，保證用戶體驗(yàn)。

03

融合場景的解決方案

前面介紹了騰訊云的三個核心能力。對于IM來說，很多情況下不是單獨(dú)使用的，而是和其他一些能力結(jié)合使用。

上圖是騰訊云底層能力。通信層我們有IM、移動推送、實(shí)時音視頻、直播、點(diǎn)播、CDN的能力，面向教育、電商、金融、政企等各個行業(yè)的客戶提供服務(wù)。服務(wù)主要分為三類：一是企業(yè)內(nèi)部員工辦公、二是企業(yè)和客戶之間、三是用戶和用戶之間。此外，騰訊云還有PSTN、一鍵登錄、云呼叫中心和短信等其他通信能力。從行業(yè)來看目前騰訊云已經(jīng)是全國最大的綜合通信服務(wù)商。

3.1 直播解決方案

上圖是IM和其他業(yè)務(wù)場景的一些結(jié)合，包括TRTC、直播、點(diǎn)播等，這是用于低延時互動直播的，也支持各個端進(jìn)行多人音視頻通話、低延時直播和PK連麥等類似的場景。

3.2 在線課堂解決方案

上圖是和教育白板相關(guān)的在線互動課堂解決方案。其中用到了騰訊云實(shí)時音視頻、IM、CDN和白板的能力。1對1小班課或者1對多大班課，乃至10萬人的直播課都可以結(jié)合騰訊云的通信PaaS以及白板能力，很快的開發(fā)出在線課堂的產(chǎn)品。

04

典型應(yīng)用場景

最后我將和大家簡單介紹一些使用IM的典型場景。

4.1 企業(yè)內(nèi)部場景

騰訊會議底層已經(jīng)深度使用騰訊云通信的能力，包括主持人管理、消息和文件分享等等。在疫情期間，平安保險內(nèi)訓(xùn)也是通過直播的方式把騰訊云的IM集成進(jìn)去。釘釘、企業(yè)微信提供的是標(biāo)準(zhǔn)化的SaaS產(chǎn)品，但是很多客戶因?yàn)闃I(yè)務(wù)場景原因會有更多的訴求和定制化的需求，為滿足這些訴求，需要把騰訊云的IM、TRTC集成進(jìn)去，基于業(yè)務(wù)場景靈活開發(fā)產(chǎn)品，例如企業(yè)內(nèi)通信的場景。

4.2 企業(yè)與用戶場景

企業(yè)和用戶之間最常見的場景是客服。之前的客服模式是每個公司有專門的客服團(tuán)隊(duì)，通過客服團(tuán)隊(duì)來服務(wù)公司所有的產(chǎn)品，隨著互聯(lián)網(wǎng)紅利的消息，業(yè)務(wù)增長有拉新轉(zhuǎn)向存量客戶運(yùn)營。

未來客服會是非常重要的一環(huán)，同時場景將更加分散，不再局限于某一個部門，每個產(chǎn)品都可能組建自己的小客服團(tuán)隊(duì)，要搭建這樣一個呼叫中心和客服系統(tǒng)是很復(fù)雜的。騰訊云的云呼叫中心可以很方便的為客戶打造一個客服系統(tǒng)。

在金融方面，不論是虛擬營業(yè)廳、證券還是保險都和直播互動結(jié)合得越來越緊密，因此會存在私密付費(fèi)群，存在互動和推送的場景。

此外除了前面提到的騰訊云在線教育方案，醫(yī)療也是一個很好的方向，醫(yī)療問診、實(shí)時的音視頻溝通、病例上傳分享都是很不錯的使用場景。

4.3 用戶與用戶場景

用戶與用戶之間的場景會更多，像線上社交直播、電商直播帶貨等等。電商直播會更多需要無人數(shù)上限的直播間，會有優(yōu)惠券、抽獎、送禮、貨物上下架、加購物車的訴求。陌生人社交場景會有附近的人、陌生人通信、精準(zhǔn)匹配、個性裝扮等等訴求。

另外在游戲互動方面也有很多應(yīng)用場景。其實(shí)無論是直播、電商、陌生人社交還是游戲，都存在一個趨勢：以前只是提供一個產(chǎn)品給客戶使用就可以了，但是未來更多的產(chǎn)品會做社區(qū)，以此來維護(hù)和客戶的關(guān)系，通過騰訊云的IM和TRTC可以很方便的把社區(qū)的通信能力搭建起來。

以上是我今天的全部內(nèi)容，感謝大家聆聽。

編輯：jq