女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

華為PB級時序數(shù)據(jù)庫Gauss DB,助力海量數(shù)據(jù)處理

禿頭也愛科技 ? 來源:禿頭也愛科技 ? 作者:禿頭也愛科技 ? 2022-10-15 19:15 ? 次閱讀

??近年來,時序數(shù)據(jù)的應(yīng)用更為廣泛,包括物聯(lián)網(wǎng)、金融領(lǐng)域、監(jiān)控領(lǐng)域、醫(yī)學(xué)領(lǐng)域、農(nóng)業(yè)生產(chǎn)領(lǐng)域等各方面,都在大量使用時序數(shù)據(jù),通過數(shù)據(jù)來研究對象的趨勢性、規(guī)律性、異常性;并且在 5G人工智能的浪潮下,時序數(shù)據(jù)作為大數(shù)據(jù)、機器學(xué)習(xí)、實時預(yù)測的基礎(chǔ)數(shù)據(jù),作用更加顯著。因此,對時序數(shù)據(jù)的研究與應(yīng)用應(yīng)當(dāng)更為深入。

??近 5 年來,時序數(shù)據(jù)庫發(fā)展十分迅猛,各大互聯(lián)網(wǎng)企業(yè)包括 Google、阿里、Amazon 都推出自己的時序數(shù)據(jù)。

PB1.png

圖 1 DB-Engines 統(tǒng)計不同類別數(shù)據(jù)庫關(guān)注度趨勢

??圖 1 為 DB-Engines 統(tǒng)計從2018年1月到2019 年 12 月截至 24 月各類數(shù)據(jù)庫的關(guān)注度趨勢,可以看到時序數(shù)據(jù)庫關(guān)注度同比 2017 年 12 月上漲 77.3%,相比第二名的圖形數(shù)據(jù)庫上漲近兩倍。圖 2 為 DB-Engines 統(tǒng)計從2013年12月到2019 年 12 月截至 6年來業(yè)內(nèi)流行的時序數(shù)據(jù)庫的關(guān)注度和使用度排名。

PB2.png

圖 2 DB-Engines 統(tǒng)計時序數(shù)據(jù)庫關(guān)注度趨勢

??從圖中可以看到,從 2015 年開始,各種時序數(shù)據(jù)庫如雨后春筍般涌現(xiàn)。

??GaussDB(for Influx)時序數(shù)據(jù)庫依靠華為在數(shù)據(jù)存儲領(lǐng)域多年的實踐經(jīng)驗,整合華為云的計算、存儲、服務(wù)保障和安全等方面的能力,在架構(gòu)、性能和數(shù)據(jù)壓縮等方面進(jìn)行了突破性的技術(shù)創(chuàng)新,達(dá)到了較好的效果,對內(nèi)支撐了華為云基礎(chǔ)設(shè)施服務(wù),對外以服務(wù)的形式開放,幫助上云企業(yè)解決相關(guān)業(yè)務(wù)問題。

??GaussDB(for Influx) 具有支持億級時間線、極致寫入性能、低存儲成本、高性能多維聚合查詢和極致彈性擴縮容等5大特性。以下為特性的大致介紹:

PB3.png

??由于在時序數(shù)據(jù)庫系統(tǒng)中,無時無刻存在大量并發(fā)查詢和寫入操作,因此合理控制內(nèi)存的使用量就顯得十分重要。而GaussDB(for Influx)便在這一問題上做了進(jìn)一步優(yōu)化:

??l 在內(nèi)存分配與回收上,使用內(nèi)存池復(fù)用技術(shù)降低內(nèi)存碎片,并實現(xiàn)算法動態(tài)調(diào)整GC頻率,加快內(nèi)存回收。

??l 在單查詢上,實行Quota控制,避免單查詢耗盡內(nèi)存。

??l 在緩存中,針對不同節(jié)點規(guī)格提供不同最優(yōu)配置。

2 、極致寫入性能

??GaussDB(for Influx)支持每天萬億條數(shù)據(jù)寫入,在工程實現(xiàn)上有以下優(yōu)化:

??l 利用所有節(jié)點并行寫入,充分發(fā)揮集群優(yōu)勢。

??l Shard節(jié)點采用針對場景優(yōu)化的LSM-Tree布局

??l 在大規(guī)模寫入場景下,GaussDB(for Influx)的寫入性能線性擴展度大于80%。

3 、低存儲成本

??GaussDB(for Influx)對數(shù)據(jù)采用列式存儲,相同類型的數(shù)據(jù)被集中存儲,更有利于數(shù)據(jù)壓縮。采用自研的時序數(shù)據(jù)自適應(yīng)壓縮算法,在壓縮前對數(shù)據(jù)進(jìn)行抽樣分析,根據(jù)數(shù)據(jù)量、數(shù)據(jù)分布以及數(shù)據(jù)類型選擇最合適的數(shù)據(jù)壓縮算法。同時提供了時序數(shù)據(jù)的分級存儲,支持用戶自定義冷熱數(shù)據(jù),實現(xiàn)數(shù)據(jù)的冷熱分離。熱數(shù)據(jù)相對數(shù)據(jù)量小,訪問頻繁,被存儲在性能更好、成本較高的存儲介質(zhì)上;冷數(shù)據(jù)相對數(shù)據(jù)量大,訪問概率低,保存時間較久,被存儲在成本較低的存儲介質(zhì)上,進(jìn)而達(dá)到節(jié)約存儲成本的目的。

4 、高性能多維聚合查詢

??在提升聚合查詢整體性能方面,GaussDB(for Influx)做了如下優(yōu)化:

??l 采用MPP架構(gòu):一條查詢語句可以在多節(jié)點及多核并發(fā)執(zhí)行。

??l 向量化查詢引擎:在查詢結(jié)果數(shù)據(jù)量很大時,GaussDB(for Influx)內(nèi)部實現(xiàn)了向量化查詢引擎,每次迭代批量返回數(shù)據(jù),大大減少了額外開銷。

??l 增量聚合引擎:基于滑動窗口的聚合查詢,大部分從聚合結(jié)果緩存中直接命中,僅需要聚合增量數(shù)據(jù)部分即可。

??l 多維倒排索引:支持多維多條件組合查詢,加快數(shù)據(jù)查詢中過濾無關(guān)數(shù)據(jù)。

5 、極致彈性擴縮容

??在時序數(shù)據(jù)庫的運行過程中,隨著業(yè)務(wù)量的增加,常常需要對數(shù)據(jù)庫進(jìn)行在線擴容,以滿足業(yè)務(wù)的要求。

??l 傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)存儲在本地,擴容后往往需要遷移數(shù)據(jù)。當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模時,數(shù)據(jù)遷移所耗費的時間往往按天計算,給運維帶來了很大的困難。

??l GaussDB(for Influx)相比于傳統(tǒng)的數(shù)據(jù)庫,最大的特點就是將計算與存儲分離,能夠輕松實現(xiàn)分鐘級擴容。

??此外,在能源、制造、IOT、互聯(lián)網(wǎng)等行業(yè)的監(jiān)控統(tǒng)計及分析的應(yīng)用場景中,時序洞察提供了針對時序數(shù)據(jù)的可視化功能。在監(jiān)控領(lǐng)域,我們??吹侥軐崟r反映整個系統(tǒng)運行情況的絢麗監(jiān)控大屏,這便是數(shù)據(jù)庫的監(jiān)控看板功能,可以高效地運用監(jiān)控數(shù)據(jù)輔助定位故障、性能調(diào)優(yōu)、容量規(guī)劃;可以查看各產(chǎn)品的監(jiān)控數(shù)據(jù)走勢及對比;跨產(chǎn)品展示關(guān)鍵指標(biāo)的實時數(shù)據(jù)、歷史數(shù)據(jù)和整體走勢。業(yè)務(wù)人員可以根據(jù)該信息對業(yè)務(wù)進(jìn)行及時調(diào)整。

??通過對時序數(shù)據(jù)庫的發(fā)展分析,時序數(shù)據(jù)庫的發(fā)展空間巨大,但也存在很多問題,GaussDB(for Influx)針對其存在的問題,都進(jìn)行了針對性的創(chuàng)新與發(fā)展,可以說GaussDB(for Influx)為時序數(shù)據(jù)庫的發(fā)展提供了巨大推動力。

審核編輯 黃昊宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 華為
    +關(guān)注

    關(guān)注

    216

    文章

    35021

    瀏覽量

    254975
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3900

    瀏覽量

    65742
收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    MySQL數(shù)據(jù)庫是什么

    開發(fā)、企業(yè)應(yīng)用和大數(shù)據(jù)場景。以下是其核心特性和應(yīng)用場景的詳細(xì)說明: 核心特性 關(guān)系型數(shù)據(jù)庫模型 數(shù)據(jù)以 表(Table) 形式組織,表由行(記錄)和列(字段)構(gòu)成。 通過 主鍵、外鍵 實現(xiàn)表間關(guān)聯(lián),支持復(fù)雜查詢和事務(wù)
    的頭像 發(fā)表于 05-23 09:18 ?121次閱讀

    TDengine 發(fā)布時序數(shù)據(jù)分析 AI 智能體 TDgpt,核心代碼開源

    組成部分,標(biāo)志著時序數(shù)據(jù)庫在原生集成 AI 能力方面邁出了關(guān)鍵一步。 TDgpt 是內(nèi)嵌于 TDengine 中的時序數(shù)據(jù)分析 AI 智能體,具備時序數(shù)據(jù)預(yù)測、異常檢測、數(shù)據(jù)補全、分類
    的頭像 發(fā)表于 03-27 10:30 ?226次閱讀
    TDengine 發(fā)布<b class='flag-5'>時序數(shù)據(jù)</b>分析 AI 智能體 TDgpt,核心代碼開源

    數(shù)據(jù)庫是哪種數(shù)據(jù)庫類型?

    數(shù)據(jù)庫是一種部署在虛擬計算環(huán)境中的數(shù)據(jù)庫,它融合了云計算的彈性和可擴展性,為用戶提供高效、靈活的數(shù)據(jù)庫服務(wù)。云數(shù)據(jù)庫主要分為兩大類:關(guān)系型數(shù)據(jù)庫
    的頭像 發(fā)表于 01-07 10:22 ?392次閱讀

    時序數(shù)據(jù)庫TDengine 2024年保持高增長,實現(xiàn)收入翻倍

    近日,時序數(shù)據(jù)庫 (Time Series Database) TDengine 正式公布了 2024 年重大成就和發(fā)展成績盤點。在這一年中,TDengine 以持續(xù)創(chuàng)新的技術(shù)能力、迅猛增長的市場
    的頭像 發(fā)表于 01-02 13:50 ?473次閱讀
    <b class='flag-5'>時序數(shù)據(jù)庫</b>TDengine 2024年保持高增長,實現(xiàn)收入翻倍

    康謀分享 | 如何應(yīng)對ADAS/AD海量數(shù)據(jù)處理挑戰(zhàn)?

    如何有效處理ADAS/AD海量數(shù)據(jù)并從中獲得見解?IVEX數(shù)據(jù)處理流程可自動從原始傳感器數(shù)據(jù)等輸入中識別出值得關(guān)注的事件和場景,推動
    的頭像 發(fā)表于 12-25 10:05 ?3871次閱讀
    康謀分享 | 如何應(yīng)對ADAS/AD<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)處理</b>挑戰(zhàn)?

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫表記錄丟失的數(shù)據(jù)恢復(fù)流程

    Mysql數(shù)據(jù)庫故障: Mysql數(shù)據(jù)庫表記錄丟失。 Mysql數(shù)據(jù)庫故障表現(xiàn): 1、Mysql數(shù)據(jù)庫表中無任何數(shù)據(jù)或只有部分
    的頭像 發(fā)表于 12-16 11:05 ?511次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—Mysql<b class='flag-5'>數(shù)據(jù)庫</b>表記錄丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)流程

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—MYSQL數(shù)據(jù)庫ibdata1文件損壞的數(shù)據(jù)恢復(fù)案例

    mysql數(shù)據(jù)庫故障: mysql數(shù)據(jù)庫文件ibdata1、MYI、MYD損壞。 故障表現(xiàn):1、數(shù)據(jù)庫無法進(jìn)行查詢等操作;2、使用mysqlcheck和myisamchk無法修復(fù)數(shù)據(jù)庫
    的頭像 發(fā)表于 12-09 11:05 ?502次閱讀

    群暉PB高密度存儲,滿足海量數(shù)據(jù)存儲、備份與存檔

    很多大型企業(yè),或是有海量數(shù)據(jù)存儲需求的企業(yè),對于PB數(shù)據(jù)存儲一直尋求運行穩(wěn)定、安全高效且高性價比的解決方案。PB
    的頭像 發(fā)表于 12-07 18:08 ?1195次閱讀
    群暉<b class='flag-5'>PB</b><b class='flag-5'>級</b>高密度存儲,滿足<b class='flag-5'>海量</b><b class='flag-5'>數(shù)據(jù)</b>存儲、備份與存檔

    海量數(shù)據(jù)處理需要多少RAM內(nèi)存

    海量數(shù)據(jù)處理所需的RAM(隨機存取存儲器)內(nèi)存量取決于多個因素,包括數(shù)據(jù)的具體規(guī)模、處理任務(wù)的復(fù)雜性、數(shù)據(jù)庫管理系統(tǒng)的效率以及所使用軟件的優(yōu)
    的頭像 發(fā)表于 11-11 09:56 ?1038次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—通過拼接數(shù)據(jù)庫碎片恢復(fù)SQLserver數(shù)據(jù)庫

    一個運行在存儲上的SQLServer數(shù)據(jù)庫,有1000多個文件,大小幾十TB。數(shù)據(jù)庫每10天生成一個NDF文件,每個NDF幾百GB大小。數(shù)據(jù)庫包含兩個LDF文件。 存儲損壞,數(shù)據(jù)庫
    的頭像 發(fā)表于 10-31 13:21 ?594次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—通過拼接<b class='flag-5'>數(shù)據(jù)庫</b>碎片恢復(fù)SQLserver<b class='flag-5'>數(shù)據(jù)庫</b>

    有云服務(wù)器還需要租用數(shù)據(jù)庫嗎?

    如果你的應(yīng)用程序需要處理大量的數(shù)據(jù),并且這些數(shù)據(jù)需要高效的查詢和分析能力,那么租用專業(yè)的數(shù)據(jù)庫服務(wù)可能是更好的選擇。這些服務(wù)通常提供了更高的性能、更好的可擴展性和更強的
    的頭像 發(fā)表于 10-31 10:50 ?292次閱讀

    一文講清什么是分布式云化數(shù)據(jù)庫

    分布式云化數(shù)據(jù)庫是一種先進(jìn)的數(shù)據(jù)管理系統(tǒng),它將傳統(tǒng)的數(shù)據(jù)庫技術(shù)與分布式計算、云計算和大數(shù)據(jù)處理技術(shù)相融合。這種數(shù)據(jù)庫架構(gòu)旨在提供高可用性、高
    的頭像 發(fā)表于 10-14 10:06 ?423次閱讀

    數(shù)據(jù)庫數(shù)據(jù)恢復(fù)—SQL Server數(shù)據(jù)庫出現(xiàn)823錯誤的數(shù)據(jù)恢復(fù)案例

    SQL Server數(shù)據(jù)庫故障: SQL Server附加數(shù)據(jù)庫出現(xiàn)錯誤823,附加數(shù)據(jù)庫失敗。數(shù)據(jù)庫沒有備份,無法通過備份恢復(fù)數(shù)據(jù)庫
    的頭像 發(fā)表于 09-20 11:46 ?611次閱讀
    <b class='flag-5'>數(shù)據(jù)庫</b><b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—SQL Server<b class='flag-5'>數(shù)據(jù)庫</b>出現(xiàn)823錯誤的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)案例

    小米試點業(yè)務(wù)系統(tǒng)上線OceanBase,數(shù)據(jù)庫性能飛躍新高度

    在科技日新月異的今天,小米集團作為全球領(lǐng)先的智能設(shè)備制造商,其業(yè)務(wù)的快速發(fā)展對底層技術(shù)架構(gòu)提出了前所未有的挑戰(zhàn)。特別是在數(shù)據(jù)庫領(lǐng)域,面對海量數(shù)據(jù)處理、高并發(fā)訪問以及嚴(yán)苛的故障應(yīng)對需求,傳統(tǒng)數(shù)據(jù)
    的頭像 發(fā)表于 07-03 15:39 ?910次閱讀

    雙向賦能:AI與數(shù)據(jù)庫的修行之道

    雖然硬件性能的提升為數(shù)據(jù)庫處理海量數(shù)據(jù)提供了基礎(chǔ),但要真正發(fā)揮這些算力,需要對數(shù)據(jù)庫內(nèi)核進(jìn)行深度優(yōu)化。云和恩墨通過改進(jìn)
    的頭像 發(fā)表于 06-28 23:07 ?621次閱讀
    雙向賦能:AI與<b class='flag-5'>數(shù)據(jù)庫</b>的修行之道