2023年2月，openGemini正式申請加入openEuler DB SIG，現(xiàn)已完成對openEuler的各項(xiàng)兼容性測試，并計(jì)劃加入openEuler 23.03版本。openGemini可在物聯(lián)網(wǎng)、嵌入式、邊緣計(jì)算、運(yùn)維監(jiān)控（AIOps）等領(lǐng)域與openEuler社區(qū)展開合作，充分利用自身技術(shù)競爭優(yōu)勢，增強(qiáng)openEuler社區(qū)的影響力和競爭力的同時(shí)，不斷挖掘新的機(jī)遇和技術(shù)創(chuàng)新點(diǎn)，進(jìn)一步提升openGemini的技術(shù)實(shí)力和社區(qū)品牌知名度。

項(xiàng)目地址

https://github.com/openGemini

https://gitee.com/src-openeuler/openGemini

項(xiàng)目官網(wǎng)

http://opengemini.org

openGemini簡介

openGemini是由華為云數(shù)據(jù)庫創(chuàng)新實(shí)驗(yàn)室自行設(shè)計(jì)、研發(fā)并面向全球開源的一款云原生分布式時(shí)序數(shù)據(jù)庫。主要面向物聯(lián)網(wǎng)和運(yùn)維監(jiān)控等場景，提供海量時(shí)序數(shù)據(jù)庫處理和分析的開源解決方案，以進(jìn)一步降低企業(yè)運(yùn)營和運(yùn)維成本，提升產(chǎn)品質(zhì)量和生產(chǎn)效率。

openGemini發(fā)展歷程

如圖所示，openGemini經(jīng)歷了最初由InfluxDB改造的技術(shù)探索，到云服務(wù)商用、自研內(nèi)核增強(qiáng)和開源等多個(gè)階段的發(fā)展，經(jīng)受住了華為云內(nèi)外部100余家用戶不同業(yè)務(wù)場景的打磨和檢驗(yàn)，現(xiàn)已開放全部核心源碼，全面擁抱開源，打造共享、共治、共建的開發(fā)社區(qū)，構(gòu)建全球技術(shù)生態(tài)和影響力。

openGemini的架構(gòu)

openGemini采用MPP大規(guī)模并行處理分層架構(gòu)，由ts-sql、ts-store、ts-meta組成。

ts-sql：統(tǒng)一處理客戶端請求

數(shù)據(jù)按照時(shí)間線一致性Hash方式打散存儲在不同的ts-store中，在查詢語句執(zhí)行期間，從ts-store獲取數(shù)據(jù)并匯總，并返回客戶端

ts-meta：統(tǒng)一元數(shù)據(jù)管理

數(shù)據(jù)庫集群元數(shù)據(jù)和數(shù)據(jù)庫元數(shù)據(jù)管理，如節(jié)點(diǎn)信息、數(shù)據(jù)保留時(shí)間、數(shù)據(jù)分區(qū)信息、表信息等

ts-store：統(tǒng)一數(shù)據(jù)管理

將原始數(shù)據(jù)按時(shí)序優(yōu)化的數(shù)據(jù)格式進(jìn)行統(tǒng)一組織和存儲，查詢時(shí)，按指定時(shí)間范圍和時(shí)間線ID查詢數(shù)據(jù)，并根據(jù)過濾條件，返回目標(biāo)數(shù)據(jù)

openGemini的核心競爭力

openGemini開源后持續(xù)版本迭代，現(xiàn)已發(fā)布v1.0.0版本，在高性能、高安全、企業(yè)級特性、可擴(kuò)展性、功能、應(yīng)用開發(fā)等六個(gè)方面已全面具備生產(chǎn)環(huán)境可使用的完整能力。

● 高性能

openGemini針對物聯(lián)網(wǎng)、運(yùn)維監(jiān)控等領(lǐng)域海量數(shù)據(jù)管理和分析訴求，對計(jì)算引擎和存儲引擎做了大量的優(yōu)化設(shè)計(jì)，取得了明顯效果。

支持億級指標(biāo)管理

每秒千萬級指標(biāo)數(shù)據(jù)并發(fā)寫入

查詢?nèi)f級指標(biāo)數(shù)據(jù)毫秒級響應(yīng)

在30萬指標(biāo)，259億條指標(biāo)測試數(shù)據(jù)的場景下，采用TSBS（https://github.com/timescale/tsbs）性能測試工具，相比開源的單機(jī)版InfluxDB v1.7，openGemini單機(jī)版寫入性能提升5倍，簡單查詢提升2-5倍，復(fù)雜查詢響應(yīng)時(shí)間縮短60倍以上。

● 高安全

openGemini支持?jǐn)?shù)據(jù)傳輸加密和用戶密碼鑒權(quán)，支持用戶弱密碼校驗(yàn)和審計(jì)日志。此外，openGemini集群的各組件之間通信可配置HTTPS雙向認(rèn)證（Mutual TLS），確保每一個(gè)鏈接都是可信的。

●企業(yè)級特性

openGemini具備豐富的企業(yè)級特性，部分關(guān)鍵特性如下：

l 高效數(shù)據(jù)壓縮

采用列式數(shù)據(jù)存儲，不同數(shù)據(jù)類型對應(yīng)不同的數(shù)據(jù)壓縮算法，可支持PB級指標(biāo)數(shù)據(jù)的長期數(shù)據(jù)存儲。存儲成本是傳統(tǒng)關(guān)系型數(shù)據(jù)庫 1/20，是NoSQL的 1/10

l 支持?jǐn)?shù)據(jù)保留策略

數(shù)據(jù)過期后自動(dòng)刪除

l 支持寫前日志（WAL）

設(shè)備掉電后，緩存數(shù)據(jù)不丟失

l 流計(jì)算

當(dāng)數(shù)據(jù)量較大時(shí)，傳統(tǒng)降采樣工作方式對磁盤I/O消耗過大，I/O放大也很嚴(yán)重。可通過流式計(jì)算，寫入數(shù)據(jù)的同時(shí)實(shí)現(xiàn)數(shù)據(jù)降采樣，該方法具有高性能、網(wǎng)絡(luò)開銷小的優(yōu)點(diǎn)

l 數(shù)據(jù)分級存儲

結(jié)合時(shí)序數(shù)據(jù)特點(diǎn)，數(shù)據(jù)按熱、溫、冷多級存儲，進(jìn)一步提升查詢性能

l 內(nèi)核運(yùn)行狀態(tài)可觀測

提供了開源監(jiān)控工具ts-monitor，可采集260余種內(nèi)核和服務(wù)器關(guān)鍵監(jiān)控指標(biāo)，更好的觀察系統(tǒng)的運(yùn)行狀況，快速排查、定位和解決問題

l多級降采樣

可針對不同時(shí)間范圍的歷史數(shù)據(jù)進(jìn)行不同方式的降采樣，保留歷史數(shù)據(jù)的特征，原地刪除其余歷史數(shù)據(jù)，節(jié)約存儲空間50%，計(jì)算資源節(jié)約90%

l 向量化

充分利用架構(gòu)的并行處理優(yōu)勢，每次迭代批量返回?cái)?shù)據(jù)，大數(shù)據(jù)量下查詢性能更好

l 異常檢測和預(yù)測

內(nèi)置基于AI的時(shí)序異常檢測和預(yù)測分析框架，具備流批一體、嚴(yán)重程度分級等多項(xiàng)能力，支持每秒萬級實(shí)時(shí)指標(biāo)數(shù)據(jù)并發(fā)檢測，內(nèi)含13種異常檢測器，可覆蓋常見的離群點(diǎn)、數(shù)值變化、閾值、持續(xù)上升下降等常見時(shí)序異常場景

● 可擴(kuò)展性

openGemini集群由ts-sql、ts-store、ts-meta組成，支持單一組件獨(dú)立橫向擴(kuò)展，可支持100+節(jié)點(diǎn)的集群規(guī)模。

● 功能

openGemini提供豐富的聚合算子（如COUNT、SUM、MAX等）、統(tǒng)計(jì)分析算子（如PERCENTILE分位數(shù)、DIFFERENCE等）、算術(shù)分析算子（如ABS、LN等）、Full Join、近似統(tǒng)計(jì)算子以及字符串算子（如SUBSTR、STR等）共60+個(gè)。此外，還支持秒、毫秒、納秒等多種時(shí)間精度以及TAG（分組查詢）和嵌套查詢。

●應(yīng)用開發(fā)（技術(shù)生態(tài)）

如圖所示，在時(shí)序大數(shù)據(jù)處理方面，openGemini已初步完成對數(shù)據(jù)接入、數(shù)據(jù)存儲、數(shù)據(jù)可視化、數(shù)據(jù)分析、數(shù)據(jù)遷移等各環(huán)節(jié)關(guān)鍵能力構(gòu)建和技術(shù)生態(tài)對接。

在云原生方面，openGemini已支持K8s、KubeEdge容器化部署，正在積極和KubeEdge社區(qū)進(jìn)行聯(lián)合創(chuàng)新。

在底層操作系統(tǒng)方面，openGemini支持主流的Linux系統(tǒng)和x86、arm64等架構(gòu)。

在應(yīng)用開發(fā)方面，支持C/C++、Java、JavaScript、Ruby、GO、Python、PHP等主流的開發(fā)語言。

總結(jié)

openGemini具備卓越的讀寫性能和高效的數(shù)據(jù)分析能力，支持單機(jī)和集群，部署形式多樣，可邊緣、可云、可物理機(jī)部署，支持主流開發(fā)語言，二進(jìn)制運(yùn)行，無第三方組件依賴，帶有260+項(xiàng)系統(tǒng)運(yùn)行指標(biāo)監(jiān)控，運(yùn)維簡單。

獨(dú)木難成林，百川聚江海。openGemini與openEuler共同攜手，雙方將在IoT、AIOps、嵌入式、邊緣計(jì)算等領(lǐng)域深化技術(shù)解決方案集成，開展線上開源協(xié)作和線下社區(qū)互動(dòng)等方面合作，努力為全球開發(fā)者提供一流的行業(yè)解決方案。