中國地大物博,人口眾多,很多民生工程都是至關重要的,電網就是其中的典型代表。作為全球最大的公用事業(yè)企業(yè),電網經營區(qū)域覆蓋全國,供電人口數量龐大,是關系國民經濟命脈和國家能源安全的國有重點骨干企業(yè),承擔著保障更安全、更經濟、更清潔、可持續(xù)的電力供應基本使命。然而作為電網運作的支持基礎,電網的信息化建設一直面臨著來自地域跨度大、異構化管理、利舊觀念根深蒂固等問題,企業(yè)信息化建設在不斷向前發(fā)展。
除了面對傳統信息化建設轉型的挑戰(zhàn),電網還面臨著來自“互聯網+”的壓力。在“互聯網+”的大環(huán)境中,其業(yè)務形式、服務理念改變,讓電網認識到信息化一定要服務于用戶 ,用戶體驗才是“互聯網+”潮流中的主要競爭力。與此同時,電網龐大系統產生的海量歷史實時數據的利用也是個難題,如何針對電網各環(huán)節(jié)運行和監(jiān)測中產生的海量歷史實時數據,做相應的存儲、集中、整合、共享和分析,同時對外提供標準統一的訪問服務,是電網信息化建設的重要組成部分。
大、多、新、難——日志集中管理來幫忙在電網的海量數據中,比較讓人頭疼的數據之一便是日志。我們都知道,電網在多年的發(fā)展中不斷的更新進化,長年累月的積累導致各方面的設備類型種類較多。與此同時,由于發(fā)展服務器的數量規(guī)模也在不斷壯大,更涉及到省、市、縣等多級接入,面臨的復雜情況可想而知。再加上電網進入云化改造階段,運維人員從原來幾百臺小型機,轉換到面對上千臺x86服務器,幾千個虛擬機,日常運維也帶來新的復雜變化。
基礎設施的龐大也預示著業(yè)務系統多樣化,生產系統、營銷系統、調度系統、財務系統、中間件、數據庫等等上百個系統同時運轉,而且由于時間和業(yè)務需求不同,這些系統大多是來源于不同時期的不同開發(fā)商,日志非常不規(guī)范,一旦其中某個系統出現問題,想要及時定位故障所在會非常困難,于是日志易就能彰顯價值。
在對業(yè)務系統、基礎設施以及網絡設備的日志進行集中管理后,提取不同設備及應用的日志字段用于后續(xù)事件分析,這中間涉及防火墻、中間件、Linux和Windows操作系統等多種類型日志。
采集后我們可以基于角色的權限管理,對日志進行分組,賦予使用者不同的權限,如此龐大規(guī)模的日志我們可以按照習慣設立成數十個分組,讓整個體系架構清晰明了。與此同時還能通過儀表盤分組,靈活查看不同設備日志的整體運維情況,方便掌握龐大系統下的不同模塊運行情況,做到有的放矢。
做到了復雜情況下的日志集中管理,其實是遠遠不夠的,這只是第一步,我們還需要把獲取的日志數據利用起來,這時候面臨的情況就更加復雜了,例如有的時候業(yè)務出現問題,而網管監(jiān)控系統的指標卻是正常的,更難以從海量日志中快速定位故障。
面對這種情況,我們可以隨時調閱定時任務統計結果進行分析,同時對每天統計結果進行二次統計,進而分析出周、月、年的業(yè)務數據運維情況,并定時產生報表,自動發(fā)送用戶郵箱。
在深度分析方面,日志易不僅可以通過歷史基線對比,實時掌握同比數據分析情況,還可以更精細的分析不同維度的業(yè)務運行情況,下面便是一些通過日志進行業(yè)務分析的典型例子:
上圖的分布圖和柱狀圖直觀的顯示出業(yè)務系統來源IP的分布,可以看出有一個IP在最近30分鐘內的訪問量比其他IP都要多很多。經過分析推測出兩種潛在原因:
-
該IP為堡壘機,所有客戶端的訪問都經過堡壘機訪問到業(yè)務系統。如果是堡壘機,可以看出堡壘機的負載并不均衡,需要運維人員著重觀察下堡壘機的負載情況。
-
該IP是客戶端IP,如果是客戶端IP的話,那么近30分鐘的訪問量達到6萬次,需要運維人員重點關注下該IP對應屬于哪個部門的的哪個人員,有沒有在做高危操作。
上圖的業(yè)務訪問區(qū)間為正態(tài)分布展現,對于在藍色區(qū)域面積的訪問量是正常的,超過面積的則為異常點,可以通過鼠標下鉆到詳細日志,可以查看異常的詳細情況,方便及時解決業(yè)務異常情況。
除此之外,我們還能詳細查看業(yè)務系統404錯誤排行、業(yè)務系統訪問排名、主機情況、交換機概述等具體情況,同時還能對多設備運維數據進行實時對比。
最后我們還能通過對不同設備進行告警設置,配置交換機常用關鍵字告警策略,觸發(fā)告警后產生報表并自動發(fā)送至用戶郵箱。
電網的信息化建設情況復雜,海量日志數據的合理利用為電網提供了便利并帶來巨大價值:采集網絡設備、服務器日志并進行日志解析,實時化運維對關鍵字進行告警,對日志核心指標進行分析;運維自動化、智能化,根據業(yè)務邏輯關聯分析日志信息,自動分析異常業(yè)務流轉環(huán)節(jié);基于海量日志數據挖掘的智慧運維,做到運維的異常自動檢測、容量預測和規(guī)劃等。相信隨著對海量日志數據價值的深度挖掘,未來日志易還會為電網提供更有力的后續(xù)支持。
-
特高壓大電網
+關注
關注
0文章
2瀏覽量
1100
原文標題:大電網復雜環(huán)境下的海量數據解決方案
文章出處:【微信號:gridthink,微信公眾號:電網智囊團】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
使用設計工具設計的帶通濾波器與Multisim仿真結果不一致是怎么回事?
STM32L431RCT6主芯片 搭配 SD NAND-動態(tài)心電圖設備存儲解決方案
光伏發(fā)電防逆流解決方案 -守護電網安全,提升能源效率

用LMP91200采集PH信號,LMP91200輸出的電壓會一點一點下降,是什么原因導致的?
KT148A語音芯片的聲音小,如何讓喇叭聲音變大?聲音影響注意點

量子點顯示技術如何提升畫質?
云數據庫和云主機哪個好一點?
天拓四方:Fanuc機床數據采集與遠程運維解決方案

評論