“新基建”正在成為業(yè)界關(guān)注的熱點,5G、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等新型基礎(chǔ)設(shè)施建設(shè)正在加速推進。“新基建”主要包含 5G 基建、特高壓、城際高速鐵路和城際軌道交通、新能源汽車充電樁、大數(shù)據(jù)中心、人工智能、工業(yè)互聯(lián)網(wǎng)等七大領(lǐng)域的建設(shè),涉及到通信、電力、交通、數(shù)字等多個社會民生重點行業(yè)。
在新基建中,尤其引人注目的是大數(shù)據(jù)中心。IT從業(yè)者都知道,大數(shù)據(jù)中心是承載海量數(shù)據(jù)的平臺,新興產(chǎn)業(yè)的未來發(fā)展將大量依賴于數(shù)字世界,從國家治理、政務(wù)服務(wù)到各個產(chǎn)業(yè) ,建好數(shù)據(jù)中心將有助于促進行業(yè)轉(zhuǎn)型和發(fā)展數(shù)字經(jīng)濟。
大數(shù)據(jù)中心的最重要的特征是數(shù)據(jù)量和規(guī)模的高速增長:到2025年全球新創(chuàng)建的數(shù)據(jù)將達到175ZB;企業(yè)對實時數(shù)據(jù)需求增加,到2023年實時數(shù)據(jù)占全球數(shù)據(jù)圈24.5%的份額;核心數(shù)據(jù)中心的數(shù)據(jù)存儲容量占比將超過50%。
隨著數(shù)據(jù)量和數(shù)據(jù)中心規(guī)模的擴大,以及各種新存儲介質(zhì)和技術(shù)的應(yīng)用,存儲系統(tǒng)變得越來越復雜。用戶需要的存儲專業(yè)知識越來越多,而用好存儲對用戶來說越來越難。
AI智能化技術(shù)可以解決存儲系統(tǒng)使用的復雜性問題。AI系統(tǒng)會不斷地從存儲及其運行環(huán)境中采集存儲的各種狀態(tài)信息和性能數(shù)據(jù),用機器學習算法分析,學習用戶的存儲使用情況,進而自動化的調(diào)整并優(yōu)化存儲系統(tǒng),使存儲服務(wù)能更好地適應(yīng)用戶的需求。
比如:智能化的把數(shù)據(jù)保存在合適的區(qū)域;自動的完成數(shù)據(jù)均衡;預測未來的需求;預防潛在的問題;智能調(diào)優(yōu)等。有AI加持的智能化存儲可以增強系統(tǒng)的可靠性,降低存儲的復雜性和維護成本。因此,“新基建”需要智能化的“新存儲”。
1
客戶的未來,從智能化新存儲開始
IDC在2018年6月完成了一項全球存儲客戶的智能化特性調(diào)查,客戶對使用AI / ML算法推動存儲系統(tǒng)的改進抱以積極的態(tài)度,如下圖,
IDC調(diào)研:客戶對AI智能化存儲的需求同時,IDC還調(diào)研了已經(jīng)使用了智能化存儲的客戶,詢問他們從中得到了哪些好處。下圖展示了客戶目前最關(guān)心的五項智能服務(wù)。其中,排名第一的是改善系統(tǒng)的整體可用性;其次是加快問題解決速度及提高性能容量規(guī)劃,預測性地識別任何即將發(fā)生的故障,監(jiān)視與存儲相關(guān)的其他IT基礎(chǔ)架構(gòu)也被客戶重點關(guān)注。
IDC調(diào)研:用戶最希望使用的智能化存儲特性
2
智能化存儲的關(guān)鍵技術(shù)
一個完整的智能化存儲框架包括下圖所示的5個過程:
存儲的AIOps框架
1) 監(jiān)控:系統(tǒng)首先通過日志、SNMP、RestAPI等技術(shù)手段抓取并保存存儲系統(tǒng)中的運行狀態(tài)、性能和故障報錯數(shù)據(jù),這為AI自優(yōu)化系統(tǒng)創(chuàng)造了數(shù)據(jù)基礎(chǔ)。
2) 學習:在長時間、海量的監(jiān)控數(shù)據(jù)基礎(chǔ)上,AI會不斷分析用戶的IO模型和系統(tǒng)狀態(tài)信息,學習最佳的應(yīng)用實踐,并自動分析問題根因和發(fā)現(xiàn)異常行為。
3) 預測:對于新發(fā)現(xiàn)的問題,AI算法都可以自動學習并提取可重復的模式,并將新的算法模型應(yīng)用到其他尚未發(fā)現(xiàn)該問題的設(shè)備上,從而準確預測風險和故障。
4) 推薦:除了智能化預測新問題外,AI還會學習出解決和優(yōu)化問題的具體建議。如修改內(nèi)外部配置參數(shù)、更換部件、系統(tǒng)軟件升級等。
5) 實施:AI系統(tǒng)可以自動運行優(yōu)化措施并解決問題。如果處于安全考慮,也可以停止自動優(yōu)化系統(tǒng),人工操作來解決現(xiàn)場問題。
學術(shù)界也非常關(guān)注智能化存儲技術(shù)。國外的存儲和系統(tǒng)領(lǐng)域的頂級會議FAST、ATC、SRE、KDD有很多相關(guān)文章,清華大學、中科院、華中科技大學等國內(nèi)科研機構(gòu)也在故障預測、根因分析、異常檢測、自動調(diào)優(yōu)等方面有優(yōu)秀的科研成果。
清華大學在《計算機學會通訊》上系統(tǒng)地闡述了智能化存儲的關(guān)鍵技術(shù)。文中把存儲的智能化歸納為歷史事件、當前事件、未來事件三類應(yīng)用場景。
歷史事件場景中瓶頸分析指的是制約存儲或系統(tǒng)服務(wù)的硬件或軟件瓶頸;熱點分析指的是自動挖掘出大于正常閾值性能指標;KPI聚類是對類似的指標曲線進行聚類;KPI曲線關(guān)聯(lián)挖掘是針對兩條曲線的關(guān)聯(lián)關(guān)系進行挖掘;全鏈路模塊調(diào)用分析能分析出模塊間的調(diào)用關(guān)系;異常事件關(guān)聯(lián)挖掘是指對異常事件之間的關(guān)系進行關(guān)聯(lián)分析;故障傳播關(guān)系圖融合了以上四種技術(shù),推斷出異常事件之間的故障傳播關(guān)系。
當前事件場景主要是根據(jù)當前的日志和告警、快速檢測和定位異常,并完成故障的根因分析,最終實現(xiàn)快速止損,控制故障的影響范圍。
未來事件場景的技術(shù)原理都是通過AI技術(shù)自動挖掘故障發(fā)生前的日志、性能參數(shù)指標,找到故障前可重復的模式,從而在今后出現(xiàn)類似的日志模式時,提前預測故障、性能容量變化趨勢以及系統(tǒng)可能的熱點瓶頸。根據(jù)IDC的客戶調(diào)查來看,針對未來事件的預測場景是存儲用戶關(guān)注的重點。
存儲智能化的關(guān)鍵場景和技術(shù)
3
智能化存儲的實踐應(yīng)用
在存儲產(chǎn)業(yè)界中,Nimble Storage在2010年推出了智能化的存儲軟件Infosight,提供了預測性分析、端到端的故障定位、性能洞察等一系列的智能化功能。幫助用戶分析復雜應(yīng)用環(huán)境下從虛擬機到后端存儲端到端的性能瓶頸,確定影響性能瓶頸的主要因素,并最終給出可行的優(yōu)化或解決問題的建議。
全球存儲廠商Netapp、IBM、DELL EMC也在2017年以后推出了自己的智能化產(chǎn)品ActiveIQ、StorageInsights和CloudIQ。
作為新數(shù)據(jù)時代下“新存儲”的引領(lǐng)者,浪潮存儲也推出了領(lǐng)先且獨具特色的智能化存儲管理平臺InView,實現(xiàn)了磁盤故障預測、性能容量預測的智能化功能,幫助客戶預判硬件故障,規(guī)避硬件故障帶來的風險和損失,并給出具體的擴容建議,為客戶提供更好的存儲服務(wù)。
責任編輯:pj
-
人工智能
+關(guān)注
關(guān)注
1804文章
48691瀏覽量
246418 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8950瀏覽量
139458 -
工業(yè)互聯(lián)網(wǎng)
+關(guān)注
關(guān)注
28文章
4355瀏覽量
94825
發(fā)布評論請先 登錄
企業(yè)數(shù)字化能碳管理方案如何提升企業(yè)節(jié)能降碳管理能力

智能化集成管理系統(tǒng)的核心特點與發(fā)展趨勢
智能化管理系統(tǒng)的特點
智能化管理系統(tǒng)在不同領(lǐng)域的應(yīng)用
光伏電站智能化管理系統(tǒng):光伏場站智能化管理的引擎

應(yīng)急車輛智能管理平臺物聯(lián)網(wǎng)解決方案
智能化管理系統(tǒng):驅(qū)動未來管理與效率革命
凌科獲授基于ISO56005的《創(chuàng)新與知識產(chǎn)權(quán)管理能力》證書

設(shè)備運維管理平臺的組成及功能
物聯(lián)網(wǎng)技術(shù)推動灌區(qū)智能化管理

評論