**

作者：王娟**

作者簡(jiǎn)介：碩士，畢業(yè)于華中科技大學(xué)電信學(xué)院。現(xiàn)就職于公安部第三研究所，從事網(wǎng)絡(luò)安全研究工作。共發(fā)表五篇推標(biāo)國(guó)際專利，兩篇國(guó)內(nèi)專利，三篇論文，兩篇軟著。

** 摘要 **

本文提出一種基于鴻鵠數(shù)據(jù)平臺(tái)（炎凰數(shù)據(jù)推出的免費(fèi)社區(qū)版一站式異構(gòu)數(shù)據(jù)分析平臺(tái)，以下簡(jiǎn)稱鴻鵠）的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)，系統(tǒng)借助鴻鵠讀時(shí)建模、時(shí)序處理、數(shù)據(jù)搜索等高效靈活的超大數(shù)據(jù)存儲(chǔ)和分析處理能力，支持海量大數(shù)據(jù)存儲(chǔ)、分類、統(tǒng)計(jì)到數(shù)據(jù)分析、關(guān)聯(lián)、預(yù)測(cè)、判斷的網(wǎng)絡(luò)安全態(tài)勢(shì)感知能力需求。以安全大數(shù)據(jù)為基礎(chǔ)，從全局角度提升對(duì)安全威脅的發(fā)現(xiàn)識(shí)別、理解分析、響應(yīng)處置能力，最終實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)感知能力的落地。

**關(guān)鍵詞：**網(wǎng)絡(luò)安全態(tài)勢(shì)感知 鴻鵠 讀時(shí)建模 關(guān)聯(lián)分析

1. 引言

Anderson 在1980年發(fā)表的論文中首次提出基于日志進(jìn)行安全審計(jì)的思想，此后，經(jīng)過不斷的發(fā)展已經(jīng)形成了相對(duì)完善的理論，各大安全廠商也研發(fā)了可用的安全系統(tǒng)。但隨著高速網(wǎng)絡(luò)的快速普及和大數(shù)據(jù)技術(shù)的普遍應(yīng)用，各類流量監(jiān)測(cè)系統(tǒng)、IDS、防火墻、終端監(jiān)控系統(tǒng)等網(wǎng)絡(luò)監(jiān)控和防護(hù)設(shè)備，在運(yùn)行過程中產(chǎn)生了大量有用的數(shù)據(jù)，如包數(shù)據(jù)、會(huì)話數(shù)據(jù)、日志、告警等，應(yīng)用平臺(tái)日志數(shù)量也呈現(xiàn)爆炸性的增長(zhǎng)趨勢(shì)，這些數(shù)據(jù)一定程度上反應(yīng)了網(wǎng)絡(luò)安全狀態(tài)。但由于不同的系統(tǒng)設(shè)備間缺乏協(xié)作，產(chǎn)生的數(shù)據(jù)格式以及詳略程度也存在差別，因此無法對(duì)數(shù)據(jù)進(jìn)行有效的融合分析，難以實(shí)現(xiàn)從整體和全局角度識(shí)別、分析入侵者的攻擊行為，難以對(duì)網(wǎng)絡(luò)整體安全態(tài)勢(shì)全面、準(zhǔn)確、細(xì)粒度的展現(xiàn)。基于此，網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)應(yīng)運(yùn)而生，成為下一代安全技術(shù)的焦點(diǎn)。

網(wǎng)絡(luò)安全態(tài)勢(shì)感知是對(duì)網(wǎng)絡(luò)安全性定量分析的一種手段，是對(duì)網(wǎng)絡(luò)安全性的精細(xì)度量，利用網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)可以全面呈現(xiàn)當(dāng)前網(wǎng)絡(luò)的整體安全狀態(tài)，預(yù)測(cè)其發(fā)展趨勢(shì)并做出有效響應(yīng)，是實(shí)現(xiàn)主動(dòng)防御的基礎(chǔ)和前提。網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)依賴于防火墻、入侵檢測(cè)系統(tǒng)、反病毒系統(tǒng)、日志文件系統(tǒng)、惡意軟件檢測(cè)程序等網(wǎng)絡(luò)安全基礎(chǔ)設(shè)施，收集態(tài)勢(shì)數(shù)據(jù)，利用數(shù)據(jù)處理模型對(duì)數(shù)據(jù)進(jìn)行融合，形成安全特征信息，并對(duì)特征信息關(guān)聯(lián)分析。

從國(guó)內(nèi)外研究現(xiàn)狀分析，當(dāng)前基于網(wǎng)絡(luò)流量、云平臺(tái)關(guān)鍵設(shè)施和應(yīng)用系統(tǒng)日志的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)仍然存在很多問題。一是數(shù)據(jù)來源和處理思路單一，現(xiàn)有的網(wǎng)絡(luò)安全威脅防控產(chǎn)品都是針對(duì)單一的數(shù)據(jù)源，集中在網(wǎng)絡(luò)和應(yīng)用入口檢測(cè)數(shù)據(jù)源，雖然針對(duì)性強(qiáng)、容易實(shí)現(xiàn)、單一防控效果好，但是缺少?gòu)恼w上對(duì)多源數(shù)據(jù)進(jìn)行分析，對(duì)安全性事件的綜合處置和關(guān)聯(lián)分析仍存在一定難度。二是時(shí)效性問題，各類流量采集設(shè)備報(bào)送的內(nèi)容和結(jié)構(gòu)存在差異，各類監(jiān)測(cè)系統(tǒng)和應(yīng)用報(bào)送的日志結(jié)構(gòu)和粒度也不相同，需要預(yù)定義數(shù)據(jù)模型和數(shù)據(jù)清洗再進(jìn)行存儲(chǔ)分析，如果后續(xù)需要增加一個(gè)原始數(shù)據(jù)字段來輔助分析，則需要調(diào)整數(shù)據(jù)模型并對(duì)原始數(shù)據(jù)再存儲(chǔ)，造成存儲(chǔ)冗余浪費(fèi)的同時(shí)，降低了系統(tǒng)時(shí)效性；此外，針對(duì)問題數(shù)據(jù)，無法快速?gòu)脑紨?shù)據(jù)中定位、解決問題，時(shí)間成本高。三是建設(shè)成本高，一套完整的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)通常需要在各個(gè)流量、業(yè)務(wù)入口位置部署安全設(shè)備，綜合建設(shè)成本高。

針對(duì)上述問題，本文基于新一代異構(gòu)大數(shù)據(jù)即時(shí)分析平臺(tái)—— 鴻鵠，研究網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)，構(gòu)建面向網(wǎng)絡(luò)信息系統(tǒng)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)，實(shí)現(xiàn)異構(gòu)異處安全數(shù)據(jù)高效關(guān)聯(lián)分析、安全威脅實(shí)時(shí)識(shí)別定位以及異常行為審計(jì)與分析。

**2. **網(wǎng)絡(luò)安全態(tài)勢(shì)感知體系框架

2.1 網(wǎng)絡(luò)安全態(tài)勢(shì)感知體系

網(wǎng)絡(luò)安全態(tài)勢(shì)感知本質(zhì)上是獲取并理解大量網(wǎng)絡(luò)安全數(shù)據(jù)，判斷當(dāng)前整體安全狀態(tài)并預(yù)測(cè)短期未來趨勢(shì)。其可分為三個(gè)階段：態(tài)勢(shì)提取、態(tài)勢(shì)理解和態(tài)勢(shì)預(yù)測(cè)，概念示意圖（如圖1）是一個(gè)迭代循環(huán)的的過程。基于大規(guī)模網(wǎng)絡(luò)環(huán)境中的安全要素和特征，采用數(shù)據(jù)分析、挖掘和智能推演等方法，準(zhǔn)確理解和量化當(dāng)前網(wǎng)絡(luò)空間的安全態(tài)勢(shì)，有效檢測(cè)網(wǎng)絡(luò)空間中的各種攻擊事件，預(yù)測(cè)未來網(wǎng)絡(luò)空間安全態(tài)勢(shì)的發(fā)展趨勢(shì)，并對(duì)引起態(tài)勢(shì)變化的安全要素進(jìn)行溯源。

圖1 網(wǎng)絡(luò)安全態(tài)勢(shì)感知概念示意圖

2.1.1 態(tài)勢(shì)提取

態(tài)勢(shì)提取階段主要對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)進(jìn)行采集與融合，具體過程和方法如下：

1. 定義安全要素和安全特征

從資產(chǎn)維度、漏洞維度以及威脅維度三個(gè)維度對(duì)網(wǎng)絡(luò)安全數(shù)據(jù)數(shù)據(jù)進(jìn)行靶向提取。

2. 數(shù)據(jù)采集

針對(duì)不同維度數(shù)據(jù)采取不同的數(shù)據(jù)采集方法，資產(chǎn)維度數(shù)據(jù)可以采用 WMI、SNMP、中央管理器、端口掃描等方式采集；漏洞維度數(shù)據(jù)通過開源的漏洞數(shù)據(jù)庫獲取漏洞數(shù)據(jù)，通過開放的漏洞數(shù)據(jù)庫獲取已發(fā)現(xiàn)的漏洞；威脅維度數(shù)據(jù)包括終端數(shù)據(jù)和流量數(shù)據(jù)，終端數(shù)據(jù)采用 Flume、Syslog 等方式采集，流量數(shù)據(jù)采用 Wireshark、Sniffer、Libpcap 庫等抓取數(shù)據(jù)包。

3. 數(shù)據(jù)預(yù)處理和融合

對(duì)多個(gè)信息源數(shù)據(jù)標(biāo)準(zhǔn)化處理，并進(jìn)行關(guān)聯(lián)、組合、融合，為態(tài)勢(shì)評(píng)估提供決策信息。其中數(shù)據(jù)預(yù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換。

**· **數(shù)據(jù)清洗：解決數(shù)據(jù)錯(cuò)誤問題，包括對(duì)海量不規(guī)整數(shù)據(jù)如噪聲數(shù)據(jù)、不一致數(shù)據(jù)、遺漏數(shù)據(jù)進(jìn)行用戶分布式處理、雜質(zhì)過濾、數(shù)據(jù)清洗等。噪聲數(shù)據(jù)可以采用均值替代、回歸替代、聚類等方式處理；不一致數(shù)據(jù)需要通過數(shù)據(jù)集成方式處理；遺漏數(shù)據(jù)通過人工填充、相似樣本填充等方式處理。

****· ****數(shù)據(jù)集成：解決數(shù)據(jù)冗余問題，集成從實(shí)體方面、數(shù)據(jù)格式方面以及數(shù)據(jù)自身的集成方面進(jìn)行。實(shí)體方面常用方法包括同義詞詞典、基于知識(shí)圖譜的實(shí)體對(duì)齊等；并將數(shù)據(jù)格式按照統(tǒng)一后的屬性進(jìn)行合并；數(shù)據(jù)自身的集成采用平均法、投票法、權(quán)重法來處理。

****· ****數(shù)據(jù)規(guī)約：精簡(jiǎn)數(shù)據(jù)，包括樣本規(guī)約、特征規(guī)約、維度規(guī)約。樣本規(guī)約的方法來自統(tǒng)計(jì)學(xué)，需盡可能保持原始數(shù)據(jù)集特征。特征規(guī)約即找出最小特征集。維度規(guī)約目的是減少分析的隨機(jī)變量或?qū)傩詡€(gè)數(shù)，包括小波變換、主成分分析等方法。

****· ****數(shù)據(jù)變換：將數(shù)據(jù)變換為利于分析的表示形式，例如通過聚類將數(shù)據(jù)劃分為不同類別，提供更高層的數(shù)據(jù)屬性。常見方法包括分箱、直方圖分析、聚類、決策樹和相關(guān)分析等方法。

**· **數(shù)據(jù)融合：有效融合多源數(shù)據(jù)，利用冗余性和互補(bǔ)性生成網(wǎng)絡(luò)態(tài)勢(shì)信息。方法包括經(jīng)典方法和現(xiàn)代方法。經(jīng)典方法基于模型和概率，包括加權(quán)平均法、貝葉斯推理、D-S證據(jù)理論等，現(xiàn)代方法主要包括邏輯推理和機(jī)器學(xué)習(xí)的人工智能方法，如聚類分析法、粗糙集、人工神經(jīng)網(wǎng)絡(luò)、進(jìn)化算法等。

2.1.2 態(tài)勢(shì)理解

對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)的理解是在網(wǎng)絡(luò)安全檢測(cè)與分析的基礎(chǔ)上，通過構(gòu)建網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行評(píng)估，從而獲取宏觀的網(wǎng)絡(luò)安全態(tài)勢(shì)。具體過程和方法如下：

1. 網(wǎng)絡(luò)安全檢測(cè)與分析

建立網(wǎng)絡(luò)安全態(tài)勢(shì)感知的認(rèn)知模型，利用認(rèn)知模型對(duì)網(wǎng)絡(luò)事件進(jìn)行深度檢測(cè)，對(duì)網(wǎng)絡(luò)攻擊進(jìn)行全面實(shí)時(shí)準(zhǔn)確的發(fā)現(xiàn)、評(píng)估以及評(píng)測(cè)。MDATA 模型（多維數(shù)據(jù)關(guān)聯(lián)與威脅分析模型）是一種有效的認(rèn)知模型，解決了數(shù)據(jù)分布廣、網(wǎng)絡(luò)安全知識(shí)因具有時(shí)空特性難以表示的問題，主要包括關(guān)聯(lián)表示、關(guān)聯(lián)構(gòu)造、關(guān)聯(lián)計(jì)算三部分。利用 MDATA 模型生成的各類知識(shí)庫十分龐大，可以利用霧云計(jì)算架構(gòu)實(shí)現(xiàn)面向網(wǎng)絡(luò)安全態(tài)勢(shì)感知認(rèn)知模型的管理和協(xié)同計(jì)算。

2. 構(gòu)建網(wǎng)絡(luò)安全態(tài)勢(shì)指標(biāo)

建立網(wǎng)絡(luò)安全態(tài)勢(shì)感知指標(biāo)體系，定義網(wǎng)絡(luò)安全態(tài)勢(shì)感知本體模型，通過顯式的、形式化的、可機(jī)讀的語義模型，高效計(jì)算理解多源異構(gòu)的安全數(shù)據(jù)，對(duì)已知網(wǎng)絡(luò)安全事件進(jìn)行有效關(guān)聯(lián)，并推理導(dǎo)出新的攻擊事件。

3. 網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估

數(shù)據(jù)融合是網(wǎng)絡(luò)安全態(tài)勢(shì)感知的基礎(chǔ)，也是網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估的核心。在融合各類安全數(shù)據(jù)的基礎(chǔ)上，借助數(shù)學(xué)模型，經(jīng)過形式化推理計(jì)算得到當(dāng)前網(wǎng)絡(luò)安全態(tài)勢(shì)的評(píng)估值，分為定性和定量評(píng)估。量化評(píng)估方法包括基于數(shù)學(xué)模型的量化評(píng)估方法、基于知識(shí)推理的量化評(píng)估方法以及基于機(jī)器學(xué)習(xí)的量化評(píng)估方法。基于數(shù)學(xué)模型的量化評(píng)估方法綜合考慮引起網(wǎng)絡(luò)態(tài)勢(shì)變化的要素，基于數(shù)學(xué)模型構(gòu)建評(píng)估函數(shù)，實(shí)現(xiàn)態(tài)勢(shì)要素到網(wǎng)絡(luò)安全量化評(píng)估值之間的映射，最常用的是權(quán)重分析法和集對(duì)分析法。基于知識(shí)推理的量化評(píng)估方法通過整理專家知識(shí)建立數(shù)據(jù)庫和概率評(píng)估模型，借助概率論、模糊理論等描述和處理安全屬性的不確定性信息，通過推理控制策略分析網(wǎng)絡(luò)安全態(tài)勢(shì)。基于機(jī)器學(xué)習(xí)的量化評(píng)估方法通過模式識(shí)別、關(guān)聯(lián)分析、深度學(xué)習(xí)等建立網(wǎng)絡(luò)安全態(tài)勢(shì)模板，經(jīng)過模板匹配及映射，對(duì)態(tài)勢(shì)性質(zhì)、程度進(jìn)行分類分級(jí)。

4. 網(wǎng)絡(luò)安全態(tài)勢(shì)可視化

網(wǎng)絡(luò)安全態(tài)勢(shì)可視化包括網(wǎng)絡(luò)安全數(shù)據(jù)流的可視化、網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估的可視化、網(wǎng)絡(luò)攻擊行為分析的可視化。可以基于電子地圖展示網(wǎng)絡(luò)安全態(tài)勢(shì)評(píng)估指數(shù)。當(dāng)前的可視化工具仍面臨著實(shí)時(shí)展示的挑戰(zhàn)，不能適應(yīng)復(fù)雜攻擊的各種復(fù)雜情況，不能對(duì)復(fù)雜數(shù)據(jù)關(guān)聯(lián)分析。

2.1.3 態(tài)勢(shì)預(yù)測(cè)

態(tài)勢(shì)預(yù)測(cè)在獲取、變換及處理歷史和當(dāng)前態(tài)勢(shì)數(shù)據(jù)的基礎(chǔ)上，建立數(shù)學(xué)模型探索數(shù)據(jù)之間的發(fā)展變化規(guī)律，并對(duì)未來發(fā)展趨勢(shì)進(jìn)行推理。傳統(tǒng)的網(wǎng)絡(luò)安全事件時(shí)間預(yù)測(cè)技術(shù)包括灰色理論預(yù)測(cè)、時(shí)間序列預(yù)測(cè)、回歸分析預(yù)測(cè)、基于小波分解表示的預(yù)測(cè)。基于知識(shí)推理的網(wǎng)絡(luò)安全事件預(yù)測(cè)技術(shù)包括基于攻擊圖的預(yù)測(cè)、基于攻擊者能力與意圖的預(yù)測(cè)以及基于攻擊行為、模式學(xué)習(xí)的預(yù)測(cè)。由于網(wǎng)絡(luò)攻擊的隨機(jī)性和不確定性，目前有很多學(xué)者研究基于人工智能態(tài)勢(shì)預(yù)測(cè)方法，利用神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等算法動(dòng)態(tài)學(xué)習(xí)和創(chuàng)建攻擊策略與行為模型，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)安全事件的準(zhǔn)確推測(cè)。

2.1.4 網(wǎng)絡(luò)攻擊溯源

網(wǎng)絡(luò)攻擊溯源還原攻擊路徑，確定攻擊者未知或身份，找出攻擊原因。傳統(tǒng)的攻擊溯源技術(shù)包括基于日志存儲(chǔ)查詢的溯源技術(shù)、基于路由器技術(shù)調(diào)試的溯源、基于修改網(wǎng)絡(luò)傳輸數(shù)據(jù)的溯源技術(shù)等。針對(duì)痕跡維度、位置維度、策略維度的數(shù)據(jù)來源分散，大多是半結(jié)構(gòu)化甚至是非結(jié)構(gòu)化數(shù)據(jù)，所以研究和優(yōu)化網(wǎng)絡(luò)安全知識(shí)庫，存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化原始數(shù)據(jù)，即時(shí)快速定位原始數(shù)據(jù)尤為重要。

2.2 網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)框架

本文基于網(wǎng)絡(luò)流量、大數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái)和應(yīng)用系統(tǒng)日志，利用安全風(fēng)險(xiǎn)識(shí)別與感知、安全事件回溯分析和重點(diǎn)威脅監(jiān)測(cè)與預(yù)警技術(shù)構(gòu)建一個(gè)網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)，并以此為例，對(duì)網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)的常見架構(gòu)進(jìn)行介紹。系統(tǒng)架構(gòu)（如圖2），分為數(shù)據(jù)接入處理層、數(shù)據(jù)分析層以及態(tài)勢(shì)感知應(yīng)用層。系統(tǒng)接入數(shù)據(jù)主要包括流量探針數(shù)據(jù)、平臺(tái)和各類應(yīng)用報(bào)送的日志。

圖2 網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)架構(gòu)

數(shù)據(jù)接入處理層定義數(shù)據(jù)標(biāo)準(zhǔn)體系，數(shù)據(jù)標(biāo)準(zhǔn)體系主要包各個(gè)平臺(tái)各類報(bào)送數(shù)據(jù)的結(jié)構(gòu)定義、數(shù)據(jù)邏輯規(guī)則定義、數(shù)據(jù)內(nèi)容合規(guī)性定義、日志報(bào)送交互接口的方式和結(jié)構(gòu)定義以及應(yīng)用操作日志中操作條件報(bào)送的語義規(guī)則和結(jié)構(gòu)定義。對(duì)采集的數(shù)據(jù)進(jìn)行解析、清洗、分類、比對(duì)、標(biāo)記等標(biāo)準(zhǔn)化處理，并進(jìn)行分類存儲(chǔ)，將威脅數(shù)據(jù)錄入到威脅情報(bào)數(shù)據(jù)庫，對(duì)應(yīng)用報(bào)送的規(guī)范化日志進(jìn)行實(shí)時(shí)解析并錄入日志數(shù)據(jù)庫，提供數(shù)據(jù)檢索、分析挖掘等服務(wù)。數(shù)據(jù)接入處理層采用分布式數(shù)據(jù)實(shí)時(shí)處理框架，提供海量數(shù)據(jù)處理能力支撐。

分析挖掘?qū)訉?duì)基于探針數(shù)據(jù)對(duì)攻擊源、攻擊對(duì)象、攻擊設(shè)施進(jìn)行分析，對(duì)受攻擊設(shè)施風(fēng)險(xiǎn)進(jìn)行評(píng)估、對(duì)攻擊特征進(jìn)行分析統(tǒng)計(jì)、對(duì)重點(diǎn)攻擊行為進(jìn)行檢測(cè)，基于應(yīng)用系統(tǒng)的日志對(duì)操作用戶行為進(jìn)行審計(jì)分析，對(duì)異常用戶、異常行為進(jìn)行監(jiān)控預(yù)警。

業(yè)務(wù)應(yīng)用層基于網(wǎng)絡(luò)安全數(shù)據(jù)綜合分析當(dāng)前攻擊源、攻擊手段、受攻擊設(shè)施等風(fēng)險(xiǎn)情況，通過態(tài)勢(shì)感知呈現(xiàn)當(dāng)前平臺(tái)的整體安全概況，通過威脅分析、惡意事件回溯等手段對(duì)特定安全事件進(jìn)行專家分析，對(duì)特定攻擊源、攻擊手段、被攻擊設(shè)施進(jìn)行安全監(jiān)控和預(yù)警。提供綜合態(tài)勢(shì)分析感知、威脅分析、安全監(jiān)測(cè)、追蹤溯源、日志分類統(tǒng)計(jì)、日志審計(jì)分析、異常監(jiān)控等服務(wù)。

**3. **基于鴻鵠的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)

現(xiàn)有的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)，數(shù)據(jù)處理技術(shù)上一般使用 Flume + Kafka + Spark Streaming 的流式大數(shù)據(jù)處理技術(shù)框架支撐流量數(shù)據(jù)的實(shí)時(shí)處理。然而業(yè)務(wù)系統(tǒng)繁多，不同層級(jí)的系統(tǒng)平臺(tái)管理比較分散，出現(xiàn)問題基本通過單點(diǎn)問題排查，很難從全局視角來進(jìn)行問題發(fā)現(xiàn)和根因分析。日志散落在各系統(tǒng)設(shè)備上，數(shù)據(jù)孤立，不能統(tǒng)一管理掌握全局狀態(tài)，且在故障發(fā)生后，需要對(duì)原始日志數(shù)據(jù)重新定義抽取字段分析，花費(fèi)大量時(shí)間。對(duì)系統(tǒng)運(yùn)行狀態(tài)和服務(wù)能力缺少監(jiān)控，沒有很好的手段對(duì)系統(tǒng)異常進(jìn)行預(yù)判和告警。此外，網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)有統(tǒng)計(jì)報(bào)表的需求，但因?yàn)榉稚⒌臄?shù)據(jù)無法提供集中式的管理和洞察，也無法追蹤記錄用戶的操作行為，暫未滿足審計(jì)要求。

現(xiàn)在網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)還存在采集數(shù)據(jù)過載的問題，為全面分析網(wǎng)絡(luò)安全態(tài)勢(shì)，如果采集所有的網(wǎng)絡(luò)數(shù)據(jù)，將導(dǎo)致分析效率低下；分析師也無法查看所有的數(shù)據(jù)來分析網(wǎng)絡(luò)空間可能面臨的攻擊。為解決采集數(shù)據(jù)過載的問題，針對(duì)不同類型的威脅行為往往會(huì)設(shè)計(jì)相關(guān)的規(guī)則和特征，靶向采集各類已知的威脅行為，對(duì)于未知攻擊只能通過異常數(shù)據(jù)溯源分析，復(fù)現(xiàn)攻擊行為，由于異常數(shù)據(jù)都是經(jīng)過數(shù)據(jù)預(yù)處理，攜帶較少原始信息，而對(duì)于溯源來說，數(shù)據(jù)記錄越詳細(xì)，越能挖掘更多攻擊信息。為解決上述問題，本文將基于鴻鵠，一種即時(shí)大數(shù)據(jù)分析處理平臺(tái)，構(gòu)建網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)。

3.1 鴻鵠

鴻鵠是一種即時(shí)大數(shù)據(jù)分析處理平臺(tái)，采用分布式存儲(chǔ)和計(jì)算架構(gòu)，通過采集企業(yè)內(nèi)部機(jī)器數(shù)據(jù)和運(yùn)營(yíng)數(shù)據(jù)，利用關(guān)聯(lián)分析、行為識(shí)別、數(shù)據(jù)建模、機(jī)器學(xué)習(xí)等技術(shù)，對(duì)數(shù)據(jù)進(jìn)行集中管控，提供全量數(shù)據(jù)極速檢索和大數(shù)據(jù)數(shù)據(jù)即時(shí)分析能力，實(shí)現(xiàn)數(shù)據(jù)集中存儲(chǔ)、即時(shí)查詢，關(guān)聯(lián)分析、安全告警、可視化展現(xiàn)等功能，可應(yīng)用于安全分析、合規(guī)審計(jì)、智能運(yùn)維、業(yè)務(wù)分析、物聯(lián)網(wǎng)等方面，擁有強(qiáng)大的數(shù)據(jù)可視化能力。平臺(tái)架構(gòu)（如圖3）。

圖3 鴻鵠系統(tǒng)架構(gòu)全景圖

鴻鵠支持結(jié)構(gòu)化、半結(jié)構(gòu)化、混合結(jié)構(gòu)各類時(shí)序型、文本類數(shù)據(jù)，能夠高效存儲(chǔ)非結(jié)構(gòu)化和半結(jié)構(gòu)化原始數(shù)據(jù)，通過列式存儲(chǔ)實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)的高壓縮比，節(jié)省存儲(chǔ)成本；并直接對(duì)原始數(shù)據(jù)查詢分析，簡(jiǎn)單快速發(fā)掘數(shù)據(jù)價(jià)值。在數(shù)據(jù)采集時(shí)負(fù)責(zé)將不同的數(shù)據(jù)源的異構(gòu)數(shù)據(jù)接入平臺(tái)，數(shù)據(jù)索引模塊對(duì)數(shù)據(jù)的時(shí)間戳自動(dòng)識(shí)別與分析，根據(jù)時(shí)間戳對(duì)數(shù)據(jù)進(jìn)行分片，對(duì)原始數(shù)據(jù)分詞，構(gòu)建倒排索引，最熱的數(shù)據(jù)暫存到閃存中，滿足一定條件后，索引和原始數(shù)據(jù)都會(huì)被壓縮之后順序?qū)懭氪疟P。平臺(tái)支持高速數(shù)據(jù)注入，單節(jié)點(diǎn)可以達(dá)到 20MB/s 的寫入速度。

在數(shù)據(jù)分析時(shí)，從零構(gòu)建 SQL 解析和查詢的引擎，當(dāng) SQL 解析到達(dá)平臺(tái)時(shí)，鎖定數(shù)據(jù)查詢范圍，并加載到內(nèi)存，利用查詢中用到的讀時(shí)建模規(guī)則構(gòu)建數(shù)據(jù)模型，再通過聚類關(guān)系分析，即時(shí)編譯和向量計(jì)算加速等技術(shù)進(jìn)行數(shù)據(jù)分析，單節(jié)點(diǎn)可以達(dá)到每秒鐘處理 100 萬條數(shù)據(jù)的速度。平臺(tái)支持 Ad Hoc 查詢、即時(shí)查詢、交互式查詢、關(guān)聯(lián)分析以及自助式分析，提供了強(qiáng)大的數(shù)據(jù)分析能力。

鴻鵠采用混合建模方式，同時(shí)融合了寫時(shí)建模的效率和讀時(shí)建模的靈活。“寫時(shí)建模”即需要預(yù)先設(shè)定數(shù)據(jù)模型的傳統(tǒng) ETL 方式；“讀時(shí)建模”通過數(shù)據(jù) ELT 方式，在搜索數(shù)據(jù)的同時(shí)提取有用字段，更加靈活敏捷，節(jié)省數(shù)據(jù)導(dǎo)入的開銷。平臺(tái)數(shù)據(jù)分析流（如圖4）。

圖4 鴻鵠數(shù)據(jù)分析流圖

鴻鵠采用的數(shù)據(jù)處理模式，可直接對(duì)原始數(shù)據(jù)查詢分析，簡(jiǎn)單快速發(fā)掘數(shù)據(jù)價(jià)值，是異構(gòu)多源大數(shù)據(jù)即時(shí)分析平臺(tái)。平臺(tái)采用云原生、微服務(wù)架構(gòu)，擁有強(qiáng)大的應(yīng)用擴(kuò)展能力，基于平臺(tái)存算分離、單獨(dú)擴(kuò)展以及靈活的架構(gòu)，平臺(tái)可廣泛應(yīng)用于安全分析、合規(guī)審計(jì)、智能運(yùn)維、業(yè)務(wù)分析、物聯(lián)網(wǎng)等方面。

3.2 基于鴻鵠的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)

本節(jié)將基于鴻鵠，設(shè)計(jì)一種集安全數(shù)據(jù)采集、處理、分析和安全風(fēng)險(xiǎn)發(fā)現(xiàn)、監(jiān)測(cè)、報(bào)警、預(yù)判于一體的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)。該系統(tǒng)整合安全區(qū)域內(nèi)用戶終端、網(wǎng)絡(luò)鏈路、應(yīng)用系統(tǒng)、數(shù)據(jù)流量等各類感知數(shù)據(jù)源，基于鴻鵠高效強(qiáng)大的數(shù)據(jù)處理存儲(chǔ)與分析能力，平臺(tái)利用機(jī)器智能分析技術(shù)，結(jié)合數(shù)據(jù)處理、安全規(guī)則模型、攻擊推理模型等分析算法，將看似毫無聯(lián)系、混亂無序的安全日志、報(bào)警數(shù)據(jù)轉(zhuǎn)化成直觀的可視化安全事件信息，從海量數(shù)據(jù)中挖掘威脅情報(bào)，從而實(shí)現(xiàn)風(fēng)險(xiǎn)發(fā)現(xiàn)、安全預(yù)警和態(tài)勢(shì)感知，提升安全監(jiān)測(cè)的攻擊發(fā)現(xiàn)和安全態(tài)勢(shì)感知的能力。系統(tǒng)架構(gòu)（如圖5），實(shí)現(xiàn)了多源安全數(shù)據(jù)的匯聚與存儲(chǔ)、面向威脅情報(bào)的大數(shù)據(jù)分析、態(tài)勢(shì)感知應(yīng)用。

圖5 基于鴻鵠的網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)

基于鴻鵠強(qiáng)大的多源異構(gòu)數(shù)據(jù)處理能力，系統(tǒng)支持多種類型數(shù)據(jù)格式，使網(wǎng)絡(luò)安全態(tài)勢(shì)感知獲取更多類型的數(shù)據(jù)。鴻鵠的海量存儲(chǔ)和快速處理能力為高速網(wǎng)絡(luò)流量的深度安全分析提供了技術(shù)支持，為高智能模型算法提供計(jì)算資源。在對(duì)異常識(shí)別的過程中，可以采用更小的匹配粒度和更長(zhǎng)的匹配時(shí)間對(duì)未知行為進(jìn)行離群度分析。

系統(tǒng)在海量安全信息基礎(chǔ)上，聚焦于綜合利用安全數(shù)據(jù)進(jìn)行集中分析處理，通過整理分類、精簡(jiǎn)過濾、對(duì)比統(tǒng)計(jì)、重點(diǎn)識(shí)別、趨勢(shì)歸納、關(guān)聯(lián)分析、挖掘預(yù)測(cè)等數(shù)據(jù)融合處理手段認(rèn)知安全態(tài)勢(shì)，感知威脅和風(fēng)險(xiǎn)，可根據(jù)用戶業(yè)務(wù)特點(diǎn)和安全需求進(jìn)行態(tài)勢(shì)感知可視化呈現(xiàn)。依托于鴻鵠架構(gòu)，從數(shù)據(jù)的接收、解析、存儲(chǔ)到分析展現(xiàn)應(yīng)用了大量的大數(shù)據(jù)處理分析技術(shù)，可應(yīng)對(duì)不同用戶環(huán)境對(duì)海量安全信息數(shù)據(jù)的高速處理場(chǎng)景。

基于鴻鵠的態(tài)勢(shì)感知系統(tǒng)可直接對(duì)原始日志數(shù)據(jù)高效靈活分析，提高故障定位效率，降低故障影響，并在理清鏈路拓?fù)潢P(guān)系的基礎(chǔ)上，固化節(jié)點(diǎn)指標(biāo)，實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)預(yù)警。系統(tǒng)提供了一站式數(shù)據(jù)分析能力，可以從日志挖掘出系統(tǒng)運(yùn)行狀態(tài)并形成運(yùn)維日?qǐng)?bào)；保存審計(jì)日志并能對(duì)用戶行為進(jìn)行分析的分類，做到系統(tǒng)的安全類行為有跡可循，方便追溯。

3.3 演示示例

基于鴻鵠的態(tài)勢(shì)感知系統(tǒng)主要包括態(tài)勢(shì)感知、安全監(jiān)測(cè)、威脅情報(bào)、追蹤溯源、日志總覽、應(yīng)用平臺(tái)日志、異常統(tǒng)計(jì)分析等功能模塊。系統(tǒng)采用鴻鵠進(jìn)行數(shù)據(jù)接入、處理、存儲(chǔ)，支持?jǐn)?shù)據(jù)處理能力水平橫向擴(kuò)展。以少量樣本數(shù)據(jù)為例，通過頁面文件導(dǎo)入的方式，將現(xiàn)有態(tài)勢(shì)感知系統(tǒng)對(duì)接的數(shù)據(jù)源如 WAF、抗 DDOS、防火墻、堡壘機(jī)等設(shè)備的日志數(shù)據(jù)快速導(dǎo)入到鴻鵠中（如圖6）。

圖6 數(shù)據(jù)導(dǎo)入

鴻鵠提供了多種內(nèi)置的數(shù)據(jù)格式處理，支持開箱即用，可以根據(jù)選定的數(shù)據(jù)格式，對(duì)導(dǎo)入的數(shù)據(jù)的處理效果進(jìn)行預(yù)覽（如圖7）。

圖7 原始數(shù)據(jù)

數(shù)據(jù)導(dǎo)入后，基于鴻鵠特有的讀時(shí)建模功能，可按照態(tài)勢(shì)感知的分析要求，在查詢時(shí)對(duì)數(shù)據(jù)進(jìn)行規(guī)整、富化、過濾和脫敏等操作，從而快速完成數(shù)據(jù)建模和即時(shí)分析。如對(duì)攻擊者 IP，攻擊類型進(jìn)行快速統(tǒng)計(jì)，數(shù)據(jù)分析界面（如圖8）。最后通過 API 的方式，將讀時(shí)建模分析后的樣例數(shù)據(jù)輸出到態(tài)勢(shì)感知系統(tǒng)進(jìn)行態(tài)勢(shì)展示。

圖8 數(shù)據(jù)分析

其中，態(tài)勢(shì)感知模塊呈現(xiàn)整體網(wǎng)絡(luò)安全態(tài)勢(shì)，展示內(nèi)容包括網(wǎng)絡(luò)威脅統(tǒng)計(jì)情況，攻擊目標(biāo)統(tǒng)計(jì)情況，攻擊源情況以及安全趨勢(shì)發(fā)展情況（如圖9）。

圖9 網(wǎng)絡(luò)安全態(tài)勢(shì)感知整體狀況

風(fēng)險(xiǎn)監(jiān)測(cè)模塊以可視化方式呈現(xiàn)網(wǎng)絡(luò)信息系統(tǒng)的安全監(jiān)測(cè)情況，主要包括概況、事件統(tǒng)計(jì)、漏洞監(jiān)測(cè)、威脅監(jiān)測(cè)、威脅事件分析、趨勢(shì)分析等（如圖10）。

圖10 網(wǎng)絡(luò)安全監(jiān)測(cè)

日志總覽模塊對(duì)各個(gè)應(yīng)用平臺(tái)日志進(jìn)行統(tǒng)計(jì)分析，包括各平臺(tái)日志量、異常情況、審計(jì)情況等（如圖11）。

圖11 日志總覽

基于鴻鵠廣泛的應(yīng)用日志報(bào)送接口，應(yīng)用平臺(tái)日志支持查詢檢索各類應(yīng)用平臺(tái)日志，支持對(duì)日志詳情進(jìn)行分析、對(duì)日志關(guān)聯(lián)行為進(jìn)行審計(jì)（如圖12）。

圖12 應(yīng)用平臺(tái)日志

**4. **結(jié)論和未來研究方向

基于鴻鵠的態(tài)勢(shì)安全感知系統(tǒng)利用海量數(shù)據(jù)存儲(chǔ)、存算分離、讀時(shí)建模、數(shù)據(jù)清洗、數(shù)據(jù)分析挖掘、數(shù)據(jù)可視化分析、人工智能等關(guān)鍵領(lǐng)域技術(shù)，形成了安全可靠的網(wǎng)絡(luò)安全態(tài)勢(shì)感知體系，建立了全面分層次的大數(shù)據(jù)中心安全監(jiān)測(cè)及感知能力。基于鴻鵠強(qiáng)大的多源異構(gòu)整合能力，未來可以構(gòu)建以實(shí)體和關(guān)系勾勒數(shù)據(jù)深度價(jià)值分析的數(shù)據(jù)藍(lán)圖，開展模型牽引的、標(biāo)準(zhǔn)統(tǒng)一的數(shù)據(jù)處理和數(shù)據(jù)治理；在數(shù)據(jù)采集方面，構(gòu)建全方位獲取、全網(wǎng)絡(luò)匯聚、全維度整合的安全大數(shù)據(jù)采集感知體系；在數(shù)據(jù)融合方面，全面構(gòu)建智能處理、精細(xì)治理、分類組織的數(shù)據(jù)資源融合體系，形成總關(guān)聯(lián)、總索引、總導(dǎo)航全面匯聚。