女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

建設高性能終端平臺——傳音元宇宙的基礎設施探索

LiveVideoStack ? 來源:LiveVideoStack ? 2023-06-28 15:42 ? 次閱讀

由于世界各地迥異的風土人情,文化偏好與基礎設施建設水平,音視頻業務在全球化的推廣進程中遇到了諸多困難,這也使得元宇宙在未來的布局中會面臨多種挑戰。為了更好的服務不同地區的用戶,傳音基于終端平臺做出了一系列針對音視頻、影像、游戲等業務的優化解決方案,提升了用戶在不同場景下的視聽體驗。

本次分享將分為三個部分,第一部分介紹全球用戶在音視頻業務中的痛點,包括弱網環境,環溫差異,文化差異,個性偏好差異等;第二部分主要闡述傳音針對不同用戶所研發的網絡優化,音視頻影像,游戲體驗優化等技術。為了提前布局元宇宙,并在AIGC時代迎來新的機遇,傳音針對不同地區的人群研發了AI語音,虛擬人等技術;在未來也將在終端平臺搭建異構計算,交互體驗預測等新的技術平臺,這些內容將在第三部分詳細介紹。

文/趙玉東

整理/LiveVideoStack

大家好,首先簡單介紹一下傳音,它是面向非洲、東南亞、拉美的手機終端制造商,在十多年間積累了很多全球化經驗。今天分享的題目是《建設高性能終端平臺——傳音元宇宙的基礎設施探索》,元宇宙是一個綜合了各種音視頻交互(游戲、體驗等)的全方位框架,在這個場景下,有很多可以展開的內容。

b5c5d92c-1547-11ee-962d-dac502259ad0.png

接下來做個自我介紹,我叫趙玉東,博士畢業于倫敦瑪麗女王大學,研究方向主要是音頻相關,包括音樂風格建模等。在傳音,我主要負責游戲端音頻探索、性能優化等。

b66271d8-1547-11ee-962d-dac502259ad0.png

這張圖是Jon Radoff提出的元宇宙構成要素。底層是基礎設施,接下來是人機交互,包括交互體驗和方式等;再往上是去中心化,如邊緣計算、AI代理、區塊鏈等,其相當于元宇宙的機制;空間計算即如何把元宇宙中的虛擬空間和現實進行映射結合,以獲得沉浸感體驗;傳作者經濟和探索發現關乎元宇宙具體如何運作;最上層是在綜合了視覺、聽覺、觸覺等之后,給用戶帶來最終的沉浸體驗。

本次分享主要分為三部分:1、全球化當中的挑戰與痛點;2、針對挑戰和痛點的終端解決方案;3、未來技術探索。

-01-

挑戰與痛點

b6930f50-1547-11ee-962d-dac502259ad0.png

上圖是元宇宙相關技術的分類,包括應用場景、算力、算法通信、交互技術、產權規則。對應的,每一類別都面臨相應的挑戰,比如算力會有性能瓶頸,算法模擬的真實世界需要考慮人文文化,在通信層面需要應對不同國家地區的網絡情況等等。

b738585c-1547-11ee-962d-dac502259ad0.png

上圖是各國互聯網用戶在本國家的數量占比情況。可以看到,從2005年到2021年,各國的互聯網用戶有明顯的增長,但例如非洲等地的入網人數還是比較有限的,這也一定程度反映了各國網絡基礎設施是參差不齊的,同時也會給用戶服務帶來一些問題和挑戰。

b7ae22bc-1547-11ee-962d-dac502259ad0.png

此外,在日常生活中,例如在高鐵和地下車庫、商場等環境中,都會遇到網絡不佳、信號屏蔽的情況,這樣用戶使用網絡時延遲就會變高。

b7e68cb0-1547-11ee-962d-dac502259ad0.png

然后是性能瓶頸,在游戲、直播等場景會遇到終端算力問題,面臨全球不同用戶的需求,如何滿足不同機型的使用體驗。

b81e017c-1547-11ee-962d-dac502259ad0.png

面臨各地不同的氣候環境,終端體驗的差別也是非常大的。

b8a50b68-1547-11ee-962d-dac502259ad0.png

人文文化有時是被忽略的一點。例如某些小語種、音樂偏好、宗教習慣等可能在設備中不被支持,同樣會影響用戶體驗。

b8d9df50-1547-11ee-962d-dac502259ad0.png

在偏好與習慣上,不同地區的用戶會對色彩感知、聲音類型和仿生學定制有不用的偏好和習慣差異。

b96050bc-1547-11ee-962d-dac502259ad0.png

最后就是需要兼顧全球各地對于隱私數據安全、法律和社會道德的要求。

-02-

終端解決方案

b9dc7fa2-1547-11ee-962d-dac502259ad0.png

針對以上的問題,我們提供一些相應的解決方案。

例如針對算力,會提供溫升控制和智能算力分配;在算法層面配備色彩增強引擎;通信層面增加本地化網絡治理策略;交互層面涵蓋小語種語音交互;遵守本地的政策法規;根據地區的應用場景做本地化虛擬形象。

接下來將針對以上六個層面展開來講。

1、本地化網絡治理

ba8210d4-1547-11ee-962d-dac502259ad0.png

首先是弱網優化LinkPlus,它是為解決弱網環境下游戲時延高卡頓、視頻難以加載、網頁打開緩慢、視頻電話卡頓、手機在上網場景中發熱嚴重等應用問題二設計的網絡優化引擎。

bac5d5b2-1547-11ee-962d-dac502259ad0.png

LinkPlus分為四個版本,目前還在持續優化。

LinkPlus v1.0基于前端反饋機制+AI預測模型的應用單鏈路分流,保持鏈接不斷的情況下實現網絡智能切換和功耗調節;

LinkPlus v2.0基于AI預測模型的多鏈路數據補充解決單鏈路數據弱網問題;

LinkPlus v3.0使用自學習的AI算法打造符合個人使用習慣的網絡生態(AI聯合學習框架);

LinkPlus v4.0是構建端、云、邊全鏈路網絡解決方案。

bb02835e-1547-11ee-962d-dac502259ad0.png

這是弱網治理的技術架構圖

前端有三個感知模塊,分別是用戶喜好、網絡環境和應用反饋的感知。接著,把對應的感知結果傳到LinkPlus智能調度,以分配不同的網絡。

bb8f0810-1547-11ee-962d-dac502259ad0.png

上圖是LinkPlus功能開啟和關閉情況下在不同弱網環境中的時延對比數據。經過實驗對比發現,LinkPlus可以快速預測網絡變化并尋找切換最優網絡。

bbc7314a-1547-11ee-962d-dac502259ad0.png

上圖是一個實際應用場景的示例

一個用戶的前臺app正在進行游戲,后臺運行著其他app,LinkPlus會感知用戶的使用情況,同時判斷當前的網絡狀態,結合二者把前臺應用分流到狀況較好的網絡,另外網絡QoS處于動態監控,A引擎映射會根據QoS預測QoE。

2、色彩增強引擎

bc337eb8-1547-11ee-962d-dac502259ad0.png

色彩增強引擎(PQE)通過調整畫面的清晰度、飽和度、亮度、對比度等參數優化畫面質量,用戶可以針對某個特定App使用參數優化視覺體驗。

3、智能算力分配

bc98c46c-1547-11ee-962d-dac502259ad0.png

首先是智能超分算法。GPU渲染低分辨率圖像(720p),通過AI-SR超分算法提升其分辨率并智能恢復細節(1080p),以減少GPU算量,降低整理功耗。

bcd8b874-1547-11ee-962d-dac502259ad0.png

智能可變渲染是通過AI識別場景關鍵點位置,降低非焦點區域渲染質量,以達到節約GPU功耗的目的。

bd6aa87e-1547-11ee-962d-dac502259ad0.png

智能幀回救系統通過AI算法預測游戲每幀的算量需求,動態調整CPU工作頻率,實現幀內預測與回救,減少掉幀,平衡游戲功耗。

4、智能溫升控制

bdb20eb2-1547-11ee-962d-dac502259ad0.png

智能環溫預測是通過獲取到的原始特征如主板溫度、CPU溫度、使用率等,進行數據預處理,結合分類模型進行環境溫度的預測,為手機溫升提供策略支持。

be22bb4e-1547-11ee-962d-dac502259ad0.png

在游戲內可通過懸浮窗快速開啟溫升控制,在開啟溫控策略的情況下,可以根據實時使用情況預測到溫度變化,控制發熱情況,減少限頻卡頓現象。

5、本地化語音交互

bea19aea-1547-11ee-962d-dac502259ad0.png

我們推出面向新興市場本地小語種的AI語音助手,針對非洲網絡基礎設施特點進行了離線語音交互方案,適配本地口音、場景和領域。

beed32c0-1547-11ee-962d-dac502259ad0.png

接下來是針對個性化場景的音頻降噪。需要根據當地的噪音場景進行數據收集,建立數據庫,以應對當地個性化需求。降噪效果演示:

6、本地化虛擬形象

bf805244-1547-11ee-962d-dac502259ad0.png

傳音擁有億量級的深膚色影像大數據庫平臺,以及相應的圖像算法、國際標準、定制芯片等。

bfbefc10-1547-11ee-962d-dac502259ad0.png

圖為針對印度市場的虛擬人解決方案,和傳音取得的數字人系統基礎能力評測證書。

-03-

未來技術探索

c0001c54-1547-11ee-962d-dac502259ad0.png

未來技術的探索包括算力增強、網絡深度優化、VR+內容借口、玩法體驗優化等。

c073d414-1547-11ee-962d-dac502259ad0.png

首先是網絡深度優化。在預測機制方面,根據QoE和QoS映射關系,進行主動和被動探測,通過決策層然后做出相應的策略。

c09ad19a-1547-11ee-962d-dac502259ad0.png

如圖是未來在算力增強方面需要做的一些探索方向。

c0cdf930-1547-11ee-962d-dac502259ad0.png

傳音除了是終端制造商,目前也有移動互聯的業務,希望結合人因工程和大數據,打造生態化的應用場景。

c1235bb4-1547-11ee-962d-dac502259ad0.png

最后是希望打造全方位玩法的感知優化,包括視覺、聽覺、觸覺和玩法的體驗感知優化。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 框架
    +關注

    關注

    0

    文章

    404

    瀏覽量

    17779
  • 音視頻
    +關注

    關注

    4

    文章

    516

    瀏覽量

    30347
  • 元宇宙
    +關注

    關注

    13

    文章

    1401

    瀏覽量

    11912

原文標題:建設高性能終端平臺——傳音元宇宙的基礎設施探索

文章出處:【微信號:livevideostack,微信公眾號:LiveVideoStack】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    “破壁者”:以中國AI技術賦能非洲數字化轉型

    +生態共建”模式,助力非洲跨越數字鴻溝。非洲人工智能潛力巨大,以本地化為突破近年來,非洲多國政府通過發布國家戰略、加大政策支持、加強基礎設施建設等,持續推動人工智
    的頭像 發表于 04-29 16:30 ?277次閱讀
    “破壁者”<b class='flag-5'>傳</b><b class='flag-5'>音</b>:以中國AI技術賦能非洲數字化轉型

    PoE交換機如何助力智慧城市基礎設施建設

    邁向數字化轉型,PoE交換機在構建智慧城市網絡中的作用日益重要。PoE技術為現代城市提供高效、可靠的供電和數據傳輸基礎設施,為智慧設備和系統的無縫集成奠定基礎。隨著智慧城市需求的不斷演進,PoE交換機將在靈活、可擴展和可持續的城市網絡建設中持續發揮關鍵作用。 *文章來源
    發表于 03-25 10:20

    天馬供折疊屏!TECNO三折概念機PHANTOM ULTIMATE 2亮相MWC

    頂尖的極簡超輕薄設計,搭載了多項三折領域突破性的創新技術,彰顯了致力于探索和創新最先進的新技術、革新用戶體驗的承諾。作為一款面向未來的三折疊屏手機,天馬在PHANTOM ULTIMATE 2的屏幕
    發表于 03-07 09:39

    1750億美元資金籌備中:OpenAI加速人工智能基礎設施建設

    人工智能技術發展方面的又一重大突破。 值得注意的是,目前已有大約1750億美元的資金籌備完畢,專門用于人工智能基礎設施的配置。這筆巨額資金將有力支撐OpenAI在數據中心建設高性能計算資源采購以及相關技術研發等方面的投入,進一
    的頭像 發表于 02-08 10:55 ?438次閱讀

    芯啟源全力助推《國家數據基礎設施建設指引》目標達成

    近日,國家發展改革委、國家數據局、工業和信息化部正式發布《國家數據基礎設施建設指引》(以下簡稱《指引》),明確到2029年國家數據基礎設施建設和運營體制機制基本建立,并著重指出在算力底
    的頭像 發表于 01-09 09:28 ?539次閱讀
    芯啟源全力助推《國家數據<b class='flag-5'>基礎設施</b><b class='flag-5'>建設</b>指引》目標達成

    在非洲踐行環保:控股將綠色發展理念融入企業管理 ?

    近年來,在中非合作論壇等機制和倡議框架下,非洲經濟迎來較快發展的同時,中非綠色合作潛力巨大。深耕非洲市場的控股不僅致力于非洲數字基礎設施建設,更在研發環保產品、低碳新材料等方面取得
    的頭像 發表于 12-27 15:30 ?405次閱讀
    在非洲踐行環保:<b class='flag-5'>傳</b><b class='flag-5'>音</b>控股將綠色發展理念融入企業管理 ?

    OREX SAI公司布局海外通信基礎設施建設

    OREX SAI公司,由日本NTT DoCoMo與NEC共同出資成立,近日宣布了一項重要戰略決策——將在海外建設通信基礎設施。據悉,該公司計劃在2024年度內于柬埔寨展開正式的通信驗證,為推進高速通信標準“5G”的網絡建設奠定堅
    的頭像 發表于 11-19 16:33 ?575次閱讀

    鼓浪嶼宇宙社區平臺正式上線

    近日,由中國移動咪咕公司與廈門市政府攜手打造的鼓浪嶼宇宙社區平臺正式亮相。該平臺旨在通過“內容+科技+融合創新”的理念,攜手產業、商業各界合作伙伴,共同打造智慧文旅的樣板間。 鼓浪嶼
    的頭像 發表于 11-18 11:40 ?766次閱讀

    智能駕駛所需的基礎設施

    以及路側基礎設施之間的實時通信。未來,隨著6G網絡的發展,通信性能將進一步提升。 車聯網平臺 :車聯網平臺是連接車輛、云端和路側基礎設施的橋
    的頭像 發表于 10-23 16:05 ?1540次閱讀

    我國充電基礎設施建設加速,新能源汽車充電網絡日益完善

    在新能源汽車產業蓬勃發展的浪潮中,充電基礎設施建設成為了推動行業持續前進的關鍵力量。近日,國家能源局舉行的新聞發布會為我們揭示了上半年我國充電基礎設施建設的顯著成就與未來展望,展現了一
    的頭像 發表于 07-31 15:48 ?1537次閱讀

    IaaS+on+DPU(IoD)+下一代高性能算力底座技術白皮書

    數據中心的第三顆“主力芯片”,主要通過其專用處理器優化數據中心的網絡、存儲、安全等處理性能,助力服務器運行效率顯著提升,有效降低成本。因此,在新型數據中心建設時,圍繞 DPU 構建數據中心網絡的基礎設施
    發表于 07-24 15:32

    聯想發布國內首個軟硬一體宇宙平臺:聯想晨星宇宙平臺

    在科技浪潮翻涌的當下,宇宙的概念正在逐漸從科幻走向現實。近日,在備受矚目的2024年上海MWC大會上,聯想集團憑借其前瞻性的科技視野和深厚的研發實力,正式發布了國內首個軟硬一體的宇宙
    的頭像 發表于 07-01 10:46 ?1067次閱讀

    工業宇宙AI超級終端“派中心一體機”問世

    重磅發布了工業宇宙AI?超級終端——聯想新視界派中心數智專家一體機(以下簡稱:派中心一體機)的多款產品。 派中心一體機作為?NovoVerse?(浩界) 2.0產業
    的頭像 發表于 06-27 14:56 ?574次閱讀

    數字新時代的關鍵--IPv6 與數據基礎設施建設

    在當今信息爆炸的時代,IPv6(互聯網協議第6版)與數據基礎設施建設正以前所未有的緊密程度相互關聯,共同塑造著數字世界的未來格局。IPv6憑借其海量的地址資源,為數據基礎設施建設提供了
    的頭像 發表于 06-11 15:53 ?510次閱讀
    數字新時代的關鍵--IPv6 與數據<b class='flag-5'>基礎設施</b><b class='flag-5'>建設</b>

    工業宇宙的應用場景有哪些

    隨著科技的飛速發展,宇宙這一概念逐漸成為人們關注的焦點。宇宙是一個虛擬的、數字化的世界,它將現實世界與虛擬世界相互融合,為人們提供了一個全新的互動、交流和創新的
    的頭像 發表于 06-11 10:24 ?1086次閱讀