阿里云原生多模數(shù)據(jù)庫 Lindorm 針對工業(yè)物聯(lián)網(wǎng)數(shù)據(jù)高并發(fā)寫入,實時存取等特點,創(chuàng)新性地融合時序、索引、寬表等多模引擎能力,為存儲、分析低價值密度、高通量、高實時性的工業(yè)物聯(lián)網(wǎng)監(jiān)控數(shù)據(jù)提供了高性價比的最優(yōu)解決方案,大幅度降低了數(shù)據(jù)存儲和存儲系統(tǒng)運維成本。
圖撲軟件(Hightopo)成立于 2013 年,總部位于廈門,在北京、上海、天津、大連、 青島等地設(shè)有分支機構(gòu)。公司聚焦工業(yè)物聯(lián)網(wǎng)監(jiān)控運維可視化應(yīng)用領(lǐng)域,為客戶提供從咨詢、設(shè)計、實施到售后的全方位可視化管理支持服務(wù)。圖撲軟件專注基于Web 的 2D 和 3D 圖形界面組件技術(shù),致力于讓完全獨立自主知識產(chǎn)權(quán)的 HT for Web 軟件走向世界之巔。公司系列產(chǎn)品 HT for Web 已應(yīng)用于電信、電力、交通、水利、石化、制造、醫(yī)療、工控等行業(yè)場景。
業(yè)務(wù)要求與挑戰(zhàn)
5G、云計算、邊緣計算等智能、互聯(lián)技術(shù)的快速發(fā)展,推動了工業(yè)物聯(lián)網(wǎng)IIoT場景下各種軟件、硬件傳感器數(shù)量激增,與之對映的采集數(shù)據(jù)量和數(shù)據(jù)類型快速增長,導(dǎo)致數(shù)據(jù)存儲、檢索難度更大。現(xiàn)有解決方案中,通常依賴自建單ElasticSearch檢索引擎或OpenTSDB、Prometheus等時序引擎搭建數(shù)據(jù)存儲,而采集數(shù)據(jù)類型多樣化使得單模引擎存儲方案技術(shù)復(fù)雜且運維成本高,市場需要新一代云原生且具備多模檢索能力的存儲系統(tǒng)。
某著名IT咨詢公司預(yù)測,工業(yè)物聯(lián)網(wǎng)市場規(guī)模在2025年可能達到3.7萬億美元,但統(tǒng)計數(shù)據(jù)顯示,現(xiàn)在只有不到30%的供應(yīng)商從中盈利,大多數(shù)企業(yè)都陷入了技術(shù)陷阱之中。新技術(shù)在創(chuàng)造新機遇帶動產(chǎn)業(yè)升級的同時也帶來了新的技術(shù)挑戰(zhàn),更加復(fù)雜的系統(tǒng)架構(gòu)和更高的性能、穩(wěn)定性要求制約了工業(yè)物聯(lián)網(wǎng)系統(tǒng)實施落地,企業(yè)需要專業(yè)技術(shù)公司來幫助解決數(shù)據(jù)采集、傳輸、存儲、分析及可視化全鏈數(shù)據(jù)處理系統(tǒng)建設(shè)難點。
解決方案
廈門圖撲軟件致力于解決工業(yè)物聯(lián)網(wǎng)全鏈路數(shù)據(jù)處理最后一公里的數(shù)據(jù)可視化環(huán)節(jié)技術(shù)難點。面向工業(yè)物聯(lián)網(wǎng)IIoT場景,圖撲軟件提供監(jiān)控系統(tǒng)監(jiān)控可視化解決方案,其產(chǎn)品可用于快速創(chuàng)建和部署,高度可定制化,并具有強大交互功能的拓撲圖形及表盤圖表等應(yīng)用,非常適用于實時監(jiān)控系統(tǒng)的界面呈現(xiàn),廣泛應(yīng)用于電信網(wǎng)絡(luò)拓撲和設(shè)備管理,以及電力、燃氣等工業(yè)自動化 (HMI/SCADA) 領(lǐng)域。
對于需要實時采集海量數(shù)據(jù)的生產(chǎn)線、風(fēng)電廠和智能交通態(tài)勢感知數(shù)據(jù)的場景,為了實現(xiàn)實時數(shù)據(jù)采集、存儲、索引和聚合,原存儲方案中采用了ElasticSearch、Prometheus、Hbase分別存儲從現(xiàn)場傳感器、第三方系統(tǒng)和用戶終端設(shè)備采集的時序指標(biāo)、日志、用戶體驗、網(wǎng)絡(luò)流量等數(shù)據(jù),隨著數(shù)據(jù)量增加,可視化展示界面場景復(fù)雜化,數(shù)據(jù)存儲和運維成本激增,檢索難度快速上升,嚴重制約了交付效果。
針對存儲層面臨的問題,廈門圖撲軟件基于阿里云Lindorm云原生多模數(shù)據(jù)庫改造存儲層架構(gòu),以單庫多模超融合模式存儲全量采集的監(jiān)控數(shù)據(jù)(技術(shù)方案對比如2所示),極大地簡化了存儲層架構(gòu),進而降低了運維成本。利用Lindorm自研的數(shù)據(jù)壓縮存儲和存儲優(yōu)化能力,海量低價值密度的監(jiān)控數(shù)據(jù)存儲成本也有大幅度降低。
為適應(yīng)日趨復(fù)雜化多樣化的終端設(shè)備、邊緣設(shè)備、傳感器以及第三方系統(tǒng)數(shù)據(jù)源采集、上報的異構(gòu)數(shù)據(jù),如圖所示,阿里云Lindorm在云端單實例融合了寬表、索引、時序等多種數(shù)據(jù)引擎能力,通過阿里云DTS/DMS或第三方開源數(shù)據(jù)交換/ETL軟件(如Apache nifi、Sqoop等)打通多引擎數(shù)據(jù)交互通道,根據(jù)應(yīng)用場景業(yè)務(wù)來適配數(shù)據(jù)。面向上層數(shù)據(jù)可視化、分析系統(tǒng),Lindorm提供更為便捷的開發(fā)期SDK和REST API數(shù)據(jù)對接方案,同時兼容OpenTSDB、Prometheus、Hbase等原生接口,無縫對接主流生態(tài),進一步簡化了圖撲軟件集成部署成本。
目前圖撲軟件聯(lián)合阿里云端支撐某行業(yè)領(lǐng)先泛在電力物聯(lián)網(wǎng)及智能樓宇行業(yè)客戶實現(xiàn)終端設(shè)備傳感器云端數(shù)據(jù)采集、存儲、檢索,實現(xiàn)并發(fā)量100萬TPS以上的傳感器采集數(shù)據(jù)的并發(fā)寫入,最高存儲時序時間線40萬能力,節(jié)約數(shù)據(jù)存儲和系統(tǒng)維護成本達6成,實現(xiàn)效果如圖4、圖5所示。
fqj
評論