5G、IoT、AI等眾多新技術的涌現,人們的工作和生活都發生了極大的變化,一個智能數據時代正在到來。這不僅進一步凸顯了大數據的底座價值,也給數據的分析利用帶來了更多的挑戰。
在今日的在華為云TechWave大數據專題日上,華為云人工智能領域總裁賈永利解讀了最新的發展趨勢,分享了FusionInsight智能數據湖解決方案等華為云在大數據技術上的實踐與創新,以幫助千行百業“管好數據、用好數據”,充分釋放數據的價值。
數據分析利用面臨多重挑戰
回首從90年代到今天,人類經歷了PC時代、互聯網時代、移動互聯網時代,隨著不同技術的演進,數據也發生了巨大的變化。
賈永利解讀說,首先,數據的規模越來越大。近年來,無論是面向ToB領域、還是ToC領域,隨著技術的發展、需求的增長,企業、個人、設備都在時時刻刻產生數據,數據的體積越來越大。
同時,數據種類越來越多,逐步走向多樣性。除了我們熟悉的結構化數據,出現了更多的非結構化數據,比如視頻、圖像、語音、文本等,并且這些多樣性的數據需要用多樣性的算力去處理,這也給數據處理帶來了更加復雜的挑戰。
第三,應用對數據處理的時效性要求越來越高。很多場景下,我們需要數據進入系統時就可以被查詢、被分析,這個時間差要求越來越短。比如在工業領域,設備的持續數據處理要求就非常高;在金融領域,交易信息、風控信息對數據處理的時延要求亦遠超以往。
最后,對于數據融合分析的要求也越來越高。很多場景下,我們希望不止分析當前數據,更希望歷史數據和實時數據進行聯合分析,隨著分析和交易越發緊密、融合,分析的結果、規則越來越多地被注入到實時交易系統中。
不同行業的數據特點與訴求
在解讀數據變化以及隨之而來的挑戰的同時,賈永利亦在發言中剖析了不同行業數據的特點與他們的訴求。
以運營商為例,隨著5G的到來,產生的數據、需要處理的數據顯著增加。有預測認為,5G的到來將帶來至少8倍以上的數據體積膨脹,那么就需要很多處理系統,需要從單集群走向多集群——能不能處理好數據成為一個首要目標。
從廣大政企行業來看,越來越多的多樣性數據如何統一處理,是否遵循同一套標準、規范,從而能夠讓整個數據在處理過程中可管可控,更高效協同不同組織、不同廠家進行開發,也極為關鍵。而像金融領域、工業領域對數據處理的實時性要求極為苛刻,為了避免業務中斷過程造成的損失,實時性就成為了核心訴求。
此外,為了高效挖掘數據價值,千行百業的數據融合分析已成大勢所趨。是否可以通過一站式的分析平臺,全局使用一份數據,從而能夠更全面、精準地進行分析,從海量數據中找到客戶真正想要的價值,變得越來越重要。
圍繞數據全生命周期提供整體解決方案
為了應對企業面臨的各種挑戰,在數據域,華為云提出了FusionInsight智能數據湖解決方案,圍繞客戶“采、存、算、管、用”等數據全生命周期提供整體解決方案。
從架構上來看,華為云FusionInsight智能數據湖解決方案是一個開放的架構,充分利用了數據域的處理能力和云自身的云原生(Cloud-Native)能力進行融合,率先做到了真正的基于云原生存算分離的架構和實現,讓數據規模可管理不再是一個難題。
華為云FusionInsight智能數據湖方案主要包含MRS大數據、GaussDB(DWS)數據倉庫、GES圖計算、一站式數據運營平臺DAYU等云服務。其中,華為云FusionInsight MRS大數據、GaussDB(DWS)數據倉庫,可助力客戶在數字化轉型中構建堅實的數據底座,并通過HetuEngine數據虛擬化引擎簡化用數,提高效率。
同時,為標準化多樣性數據,一站式數據運營平臺DAYU向下可接入日志、文本、視頻、音頻、圖片等各類型數據,基于多樣性算力與CarbonData實現全局一份數據的統一格式存儲;向上為伙伴開發50+數據集成開發API,使能數據,攜手生態伙伴打造各行業應用。
目前,華為云FusionInsight已廣泛應用于政府、金融、運營商、大企業、互聯網等行業,攜手800多家合作伙伴,為全球60多個國家和地區的3000多家政企客戶提供服務。
華為云重磅發布實時數倉產品
為響應政企用戶在IoT和運維監控等場景下對數據倉庫時效性的需求,華為云發布了GaussDB(DWS) 實時數倉新品,引入了HetuEngine和CarbonDate兩個重要引擎,具備快、易、簡、省四大特點。
HetuEngine可以幫助企業構建一個虛擬化數據分析引擎,有了這個引擎就可以分析多元、多域更為復雜場景下的數據。CarbonDate可以圍繞數據的存儲進行一系列優化和數據格式組織,從而實現全局一份數據、以統一的格式存儲,能夠給北向提供更加豐富的開發API,使數據集成更容易、使用更高效。
在“快”方面,GaussDB(DWS)實時數倉時序數據單機入庫性能支持每秒10萬條數據、每秒60萬條流數據持續計算入庫,并可線性擴展。這樣無論在工業領域、金融領域,抑或物聯網領域,都可以解決很多目前所無法解決的問題。
在“易”方面,GaussDB(DWS) 實時數倉支持基于SQL完成復雜流式計算語義定義,簡化開發。以Druid監控的一個場景為例,僅用150行SQL代碼就實現了原有1900行Druid腳本同樣的功能,實現超過十倍的提升。
在“簡”方面,GaussDB(DWS) 實時數倉實現了1 = N。在一個平臺內,同時實現Flink/Spark Streaming(流數據處理)+Druid(流數據預聚合)+InfluxDB(時序數據處理),簡化了開發和運維工作。
在“省”方面,時序數據經過實時數倉的自適應壓縮算法,最高可達40:1的壓縮比,將多維度行列存儲優化,數據冷熱溫自動分區,從而極大地減少存儲空間,節省用戶成本。
“華為云將圍繞數據持續進行創新,聯合客戶和合作伙伴,通過更好的技術,幫助千行百業真正管好自己的數據、用好自己的數據,釋放數據的價值。”在發言的最后,賈永利如是說道。
責任編輯:gt
-
華為
+關注
關注
216文章
35036瀏覽量
255088 -
AI
+關注
關注
87文章
34270瀏覽量
275427 -
5G
+關注
關注
1360文章
48736瀏覽量
570398 -
大數據
+關注
關注
64文章
8952瀏覽量
139496
發布評論請先 登錄
華為榮獲數據中心自智網絡基礎能力解決方案檢測證書
易華錄智慧交管大模型助力數據治理智能化
智能倉儲管理解決方案NRF5832
ADI擴展版CodeFusion Studio?解決方案 加速嵌入式開發并確保數據安全

華為發布AI WAN解決方案
構建數據庫解決方案,基于華為云 Flexus X 實例容器化 MySQL 主從同步架構

鴻蒙原生頁面高性能解決方案上線OpenHarmony社區 助力打造高性能原生應用
泰雷茲發布數據風險智能解決方案
華為提出“四新”戰略,加速釋放網絡+AI商業價值
華為云、上海鈞達數科 發布區塊鏈數據要素聯合解決方案

評論