女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

媒體傳輸協議的演進與未來

LiveVideoStack ? 來源:LiveVideoStack ? 2023-05-24 15:05 ? 次閱讀

音視頻應用近年來呈現出迅猛的發展趨勢,成為互聯網流量的主要載體,其玩法豐富,形態多樣,眾多繁雜的媒體傳輸協議也應運而生。LiveVideoStackCon 2022北京站邀請到快手傳輸算法負責人周超,結合快手在媒體傳輸上的優化與實踐,基于快手KTP、KLP、LAS等協議和標準,為我們介紹了媒體傳輸協議的演進與面臨的挑戰;還分享了最新的媒體傳輸標準CMTP,探索未來更多可能。

-01-

音視頻大時代下媒體傳輸協議的繁華

本次分享會從媒體傳輸協議的現狀、快手在媒體傳輸協議優化上的實踐和對未來的展望三部分展開。

近幾年,音視頻技術發展迅速,疊加網絡、AI技術,音視頻已無處不在,應用場景涵蓋點播、直播、電商、實時互動、游戲、醫療和教育等多個方向。

從用戶體驗角度來看,音視頻應用都需要在延遲、流暢度和清晰度之間尋找一個平衡點,對應到網絡傳輸,本質就是需要在延遲、傳輸可靠性和帶寬利用率之間找到一個平衡點。

8b9ee05a-f8fd-11ed-90ce-dac502259ad0.png

8c0afa1a-f8fd-11ed-90ce-dac502259ad0.png

基于此,音視頻應用可以大致劃分為三大類,即泛VoD、泛RTC和泛Live。

泛VoD偏重于點播類應用,對延遲不敏感,更注重傳輸可靠性和帶寬利用率。泛RTC應用則對延遲非常敏感,在保證延時的前提下,才會追求傳輸的可靠性和帶寬利用率。泛Live應用介于兩者之間,對每個維度都有一定要求,并且不同的Live垂類場景,對三者(可靠性、延遲、帶寬利用率)之間的平衡關系也有一定差異。

8c82f81c-f8fd-11ed-90ce-dac502259ad0.png

從架構上來看,泛VoD可以大致分為四個步驟。視頻在采集和導入之后,疊加魔法表情等玩法,然后經過轉碼壓縮上傳到云端。在服務端進行審核和前處理等大量工作后,一般會進行二次轉碼,以進一步提高壓縮率并生成多個質量的副本。最后,由CDN分發給用戶,進行下載、解碼、渲染和播放。

在生產端,創作者能否快速成功的發布作品,將直接影響他們的創作熱情。

在消費側,用戶則更關注視頻的清晰度和流暢度,這兩個維度都需要可靠傳輸以及足夠高的帶寬利用率。提到可靠傳輸,最常見的就是HTTP協議和QUIC協議。此外,在消費側,為了應對海量用戶的差異性網絡,一般會采用多碼率自適應技術,例如DASH、HLS等。

8cafc3a6-f8fd-11ed-90ce-dac502259ad0.png

泛Live應用架構與泛VoD較為類似。主播和觀眾都希望獲得低延遲、高清晰度和高流暢度的體驗。但直播流實時產生,對傳輸的平穩性要求較高,對帶寬利用率和延遲方面會做一定的妥協。例如,當網絡出現劇烈波動時,允許出現丟幀和丟包。業內直播主要采用RTMP協議,近年來也在嘗試QUIC協議,例如RTMP over QUIC的方案。在消費側,通常也會采用多碼率自適應技術。然而,常見的DASH和HLS技術,都是基于分片的架構,在直播場景中會帶來較大的延遲。目前,為了降低直播延遲,許多廠商也在嘗試基于WebRTC的快直播方案。

8ceed9f6-f8fd-11ed-90ce-dac502259ad0.png

泛RTC場景的目標非常明確,就是要實現超低延遲的互動。在滿足低延遲的前提下,再提升清晰度和流暢度。目前使用最多的方案是WebRTC,很多公司也基于WebRTC進行了二次開發,形成自己的方案。

8d186492-f8fd-11ed-90ce-dac502259ad0.png

總體而言,每類應用場景目前都有各自比較成熟的協議,其穩定性高、各廠商支持好,但也存在靈活性差、跨層優化難和業務不感知等問題。

-02-

快手在媒體傳輸優化上的實踐

8d505c30-f8fd-11ed-90ce-dac502259ad0.png

在快手的傳輸體系中,底層算法是最核心的部分,包括常見的擁塞算法、多碼率自適應算法、弱網對抗算法等等。在此基礎之上,我們設計了豐富的傳輸協議,例如KTP、LAS、AAS、KLP等。KTP是快手自研的第一個私有傳輸協議,用于直播推流、作品發布和RTC等業務場景;LAS是快手自研低延遲直播多碼率自適應協議,目前已形成行標,幾乎所有云廠商都支持;KLP是快手自研的直播拉流協議,用于提升直播拉流的傳輸效率;AAS是點播場景下的多碼率自適應協議,包含短視頻和長視頻場景。

8d8aa818-f8fd-11ed-90ce-dac502259ad0.png

KTP在設計之初,就希望一個協議能同時支持支持點播、直播和RTC等多個業務場景,解決協議繁多、維護和優化成本高的問題。在架構上,KTP總體分為兩層:底層是傳輸控制層,通過對協議的設計,支持在傳輸延時、可靠性和帶寬利用率之間取得動態平衡。在其之上是業務感知層,感知業務特性,根據不同業務的特征,采取最佳的策略與算法。

8dbd137a-f8fd-11ed-90ce-dac502259ad0.png

通過實際測試對比發現,在直播推流場景,KTP在60%丟包率時,依然可以保持清晰、流暢的推流體驗(左圖),而RTMP在15%丟包率時,會發生嚴重卡頓,處于不可用狀態(右圖)。

8e2fa48a-f8fd-11ed-90ce-dac502259ad0.png

在作品發布場景上,基于KTP的通用上傳服務,已經用戶快手各個作品發布/文件傳輸的場景,并顯著提升了作品發布成功率,從最初的70%~80%提升到99%以上。此外,即便在用戶網絡越來越復雜、作品大小越來越大的情況下,其發布耗時也一直處于下降的狀態。

8e734f00-f8fd-11ed-90ce-dac502259ad0.png

最后,在RTC場景,KTP支撐著快手內部所有的RTC業務,例如PK、連麥、會議、StreamLake等等。基于先進的算法與架構,基于KTP的RTC解決方案,在體驗和性能等多個維度上,都顯著領先競品。

8eb9ce76-f8fd-11ed-90ce-dac502259ad0.png

此外,在2021年ACM Multimedia的低延遲傳輸挑戰賽中,快手也以巨大的優勢取得了第一名的好成績。

8f809ed4-f8fd-11ed-90ce-dac502259ad0.png

協議是橋梁,支撐各種功能與業務需求,但其傳輸性能主要取決于底層算法。例如網絡領域的核心算法之一的擁塞控制算法,在過去幾十年一直是研究的熱點與難點,直接影響著協議的傳輸性能、帶寬利用率、弱網抗性等。快手一直持續在算法領域深耕,例如自研的擁塞控制算法IA2C,性能遠超BBR;基于強化學習的NNCC,在帶寬利用率上取得新的突破;最近正在準備上線的下一代擁塞算法AQDC,在帶寬利用率和延遲上,均取得顯著收益。

8fc8e482-f8fd-11ed-90ce-dac502259ad0.png

8ff63cc0-f8fd-11ed-90ce-dac502259ad0.png

KTP廣泛用于作品發布、直播推流和RTC等場景,并取得了很好的收益。但由于歷史原因,在下行鏈路上,KTP并未很好的做支持和優化。于是,在2020年,我們復用了KTP的底層傳輸控制,并在此基礎上,增加了適用于直播拉流特性的策略與算法,形成了KLP協議。KLP在海外上線的時候,取得了非常好的效果。

90363442-f8fd-11ed-90ce-dac502259ad0.png

909114ca-f8fd-11ed-90ce-dac502259ad0.png

在消費側,為了應對用戶差異性的網絡特性,一般會采用多碼率自適應技術,來平衡流暢度和清晰度,例如國際標準DASH和HLS,其大致原理為將視頻文件轉碼成多個檔位,每個檔位進行分片處理,消費側依據實時網絡狀況選擇不同的分片,最終拼接成一個完整的視頻。這兩個標準成熟度高,但最初都是為點播設計,直接用于直播場景,會帶來較大的延遲。

90c0d0a2-f8fd-11ed-90ce-dac502259ad0.png

在經過充分的調研和討論后,快手決定自己建立一套低延遲的直播多碼率標準,也就是LAS,目前LAS已經正式成為行標,也被業界廣泛采用,相關細節可參考官網介紹(https://las-tech.org.cn/#/)。

9111d74a-f8fd-11ed-90ce-dac502259ad0.png

在點播多碼率上,我們同時考慮了短視頻和長視頻之間的差異,形成了快手點播多碼率自適應標準——AAS。在協議描述上,參考了MPD和DASH的設計,最核心的是快手自研究的多碼率算法,包括傳統基于模型的算法、基于深度學習的ABR等,這些算法在不同場景,均取得了非常好的效果。

9157103a-f8fd-11ed-90ce-dac502259ad0.png

此外,在2022年ACM Multimedia的短視頻傳輸挑戰賽中,快手也以巨大的優勢取得第一名的好成績。

91bf3746-f8fd-11ed-90ce-dac502259ad0.png

目前,快手的網絡傳輸主要依托于自研的一系列協議,但仍存在一系列問題,例如下行場景覆蓋不足、業務耦合、生態封閉、無法賦能行業、三方CDN不能全場景支持等。

-03-

下一代媒體傳輸協議:CMTP

91f111c6-f8fd-11ed-90ce-dac502259ad0.png

基于之前多個協議成功的經驗和算法積累,我們期望設計一套全新的協議CMTP,可適用于所有場景,并能解決覆蓋不足、生態封閉等問題。總體而言,CMTP具有以下四個特性:架構通用、全場景、高擴展性和特性豐富。

92658c90-f8fd-11ed-90ce-dac502259ad0.png

在架構上,CMTP分為五層:

UDP/TCP層:底層IO使用的網絡協議,默認采用UDP,UDP靈活性高,易擴展,可以支持多種算法與策略,對于UDP Block的情況,則采用TCP。

傳輸控制層:支持UDP和TCP兩種模式。基于UDP規范了協議字段、組包拆包方式、會話管理等,支持ARQ、FEC、擁塞控制、0-RTT、加密、多路復用等功能。基于TCP也規范了協議字段、組包拆包方式等,并支持加密、多路復用等功能。

傳輸表示層:規范了傳輸控制層所需要提供的接口和功能,包括媒體會話、媒體流的定義,以及媒體數據、控制信令的表示方式等,同時支持協議優選。

應用感知層:以組件化的方式組織,感知業務的不同需求,并通過對應的組件提供專屬優化功能,包含直播組件(Live)、點播組件(VoD)、實時通信組件(RTC)和通用組件。各個組件功能獨立,可插拔、替換或新增,從而保證其足夠強的擴展性、兼容性和業務適應性。

通用接口層:規范了對外的標準接口和配置,包括客戶端和服務端接口,元信息和通用配置的格式等。

92a3ed00-f8fd-11ed-90ce-dac502259ad0.png

目前CMTP已經在快手落地,也取得了顯著的收益。此外,很多廠商也已經支持CMTP,并與快手一起推進標準化。未來,希望有更多團隊加入我們,共同建設良好的CMTP生態。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • HTTP
    +關注

    關注

    0

    文章

    521

    瀏覽量

    32455
  • 傳輸協議
    +關注

    關注

    0

    文章

    79

    瀏覽量

    11676
  • ai技術
    +關注

    關注

    1

    文章

    1307

    瀏覽量

    25002

原文標題:媒體傳輸協議的演進與未來

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    大型嵌入式項目構架:從 STM32 對 FPGA 進行內存映射

    未來代碼演進方向可能包括: FMC端支持64位傳輸及采用AHB替代APB協議以降低順序傳輸開銷。但可以預見,該架構將成為我大型FPGA+MC
    的頭像 發表于 05-26 11:15 ?529次閱讀
    大型嵌入式項目構架:從 STM32 對 FPGA 進行內存映射

    LLSM——基于RK3588的低延遲低帶寬流媒體傳輸模塊

    隨著物聯網和人工智能的快速發展,實時視頻傳輸在嵌入式系統中變得越來越重要。無論是智能攝像頭、無人機還是工業監控設備,都需要高效、低延遲的流媒體傳輸解決方案。慧視推出的LLSM低延遲低帶寬流媒體
    的頭像 發表于 04-30 18:36 ?203次閱讀
    LLSM——基于RK3588的低延遲低帶寬流<b class='flag-5'>媒體</b><b class='flag-5'>傳輸</b>模塊

    IEEE 2030.5協議演進、應用、培訓

    EEE 2030.5 已發展成為智慧能源行業的基石通信協議。California Rule 21強制采用IEEE2030.5 CSIP協議作為通信協議并要求強制認證;IEEE1547采用
    的頭像 發表于 02-21 15:32 ?543次閱讀
    IEEE 2030.5<b class='flag-5'>協議</b><b class='flag-5'>演進</b>、應用、培訓

    FTP文件傳輸協議的工作模式

    FTP(File Transfer Protocol)文件傳輸協議,基于C/S架構,支持文件的上傳和下載功能。
    的頭像 發表于 02-06 10:09 ?527次閱讀

    MPU數據傳輸協議詳解

    在現代電子系統中,微控制器(MPU)扮演著核心角色,負責處理各種任務和數據。為了實現這些功能,MPU需要與其他設備進行數據交換。數據傳輸協議就是規定這些數據交換如何進行的一套規則。 MPU數據傳輸
    的頭像 發表于 01-08 09:37 ?747次閱讀

    MTP協議與FTP協議的比較分析

    在計算機網絡中,文件傳輸協議(FTP)和媒體傳輸協議(MTP)是兩種不同的數據傳輸
    的頭像 發表于 01-03 10:34 ?536次閱讀

    MTP設備與其他傳輸協議比較

    )、PTP(Picture Transfer Protocol)等傳輸協議的比較: 一、MTP設備與USB大容量存儲模式的比較 訪問方式 : MTP:通過一種基于對象的方式來訪問設備上的多媒體文件,不需要
    的頭像 發表于 01-03 09:55 ?1128次閱讀

    如何使用 HTTP 協議進行數據傳輸

    在互聯網時代,數據傳輸是信息交換的基礎。HTTP協議作為最常用的數據傳輸協議之一,支撐著全球數十億用戶的數據交互。 HTTP協議的基本概念
    的頭像 發表于 12-30 09:24 ?1390次閱讀

    PCIe數據傳輸協議詳解

    、網卡和聲卡等,以實現高效的數據傳輸。以下是對PCIe數據傳輸協議的介紹: 一、PCIe協議的基本概念 PCIe協議定義了一系列規范和要求,
    的頭像 發表于 11-26 16:12 ?3229次閱讀

    dap協議的優勢與劣勢 dap協議未來發展趨勢

    能夠支持實時數據采集和處理,對于需要快速響應的應用場景尤為重要。 可靠性 :通過協議的校驗機制,DAP協議能夠確保數據傳輸的準確性和完整性。 擴展性 :DAP協議設計時考慮了
    的頭像 發表于 11-22 15:42 ?854次閱讀

    FWA產業的發展現狀和演進方向

    近日,在2024 MBBF展會期間,全球FWA演進圓桌成功舉辦,吸引了超過80位來自全球的運營商、行業分析師及生態合作伙伴代表。會上,與會者分享了最新的FWA行業洞察與實踐,共同探討了FWA的當前發展和未來演進方向。
    的頭像 發表于 11-06 17:21 ?877次閱讀

    PD協議過程詳解:從物理連接到智能管理的全面剖析

    PD協議通過一系列精心設計的流程,實現了電力與數據的高效、安全傳輸,為現代電子設備的充電與數據傳輸提供了強大的支持。隨著技術的不斷演進,PD協議
    的頭像 發表于 09-23 11:38 ?1891次閱讀

    谷歌與加州達成2.5億美元媒體支持協議

    谷歌與加利福尼亞州立法者攜手開創了全球先河,共同宣布了一項價值2.5億美元的媒體支持協議。此協議旨在通過直接資金注入和技術創新,為加州的新聞機構提供強有力的支持,同時巧妙地規避了可能給科技公司帶來更大經濟壓力的州級立法。
    的頭像 發表于 08-26 16:26 ?934次閱讀

    應用驅動協議演進,擁抱智能創新技術

    日前在溫哥華舉辦的IETF 120會議期間,華為數據通信產品線副總裁吳局業發表了“擁抱智能創新技術”的主題演講。 吳局業指出,應用驅動著協議演進。在5G時代,IETF已經在SRv6、性能測量、網絡
    的頭像 發表于 08-20 21:22 ?1086次閱讀

    藍牙傳輸技術的演進與發展

    藍牙模塊技術,作為無線通信領域的重要一員,自其誕生之初便受到了廣泛的關注和應用。隨著技術的不斷發展和演進,藍牙模塊技術已經從最初的單一功能、有限傳輸速度發展到現在的多功能、高速率、低功耗,為人
    的頭像 發表于 07-05 17:56 ?1702次閱讀