三、車聯(lián)網(wǎng)系統(tǒng)架構(gòu)圖

　　一、數(shù)據(jù)源

　　大數(shù)據(jù)平臺的數(shù)據(jù)源包括兩類數(shù)據(jù)：

　　1、車載終端數(shù)據(jù)

　　系統(tǒng)規(guī)模由車載終端并發(fā)接入量與消息并發(fā)處理需求決定，其特點為增長迅速，數(shù)據(jù)類型繁多且數(shù)據(jù)格式多變。大數(shù)據(jù)平臺必須可能保證車載終端高并發(fā)遠(yuǎn)程接入并傳輸數(shù)據(jù)。同時還應(yīng)兼顧歷史數(shù)據(jù)的導(dǎo)入，傳統(tǒng)數(shù)據(jù)存儲及分析方式往往以兩種形式處理這些車載終端數(shù)據(jù)：一是用傳統(tǒng)型關(guān)系型數(shù)據(jù)庫，二是用文件系統(tǒng)。

　　2、 應(yīng)用數(shù)據(jù)

　　應(yīng)用系統(tǒng)相關(guān)數(shù)據(jù)，數(shù)據(jù)相對較小，增長較慢。數(shù)據(jù)結(jié)構(gòu)與應(yīng)用強相關(guān)且較為穩(wěn)定。

　　二、數(shù)據(jù)傳輸

　　針對上述數(shù)據(jù)源，大數(shù)據(jù)平臺應(yīng)提供相應(yīng)的數(shù)據(jù)傳輸接入工具：

　　1、車載終端數(shù)據(jù)

　　2、實時數(shù)據(jù)

　　大數(shù)據(jù)平臺應(yīng)支持多設(shè)備同時接入并進行數(shù)據(jù)傳輸。高并發(fā)的規(guī)模應(yīng)考慮在十萬級別。

　　3、歷史數(shù)據(jù)

　　大數(shù)據(jù)平臺應(yīng)提供面向關(guān)系型數(shù)據(jù)庫與文件系統(tǒng)的數(shù)據(jù)導(dǎo)入接口。

　　4、通訊協(xié)議

　　如果車載終端由不同供應(yīng)商提供且使用不同的私有自定義通訊協(xié)議，大數(shù)據(jù)平臺應(yīng)提供私有協(xié)議解析適配功能。

　　5、應(yīng)用數(shù)據(jù)

　　大數(shù)據(jù)平臺不應(yīng)對建設(shè)在其上的應(yīng)用系統(tǒng)附加限制，如開發(fā)語言，通訊協(xié)議等。大數(shù)據(jù)平臺應(yīng)遵循‘面向服務(wù)架構(gòu)’（Service-Oriented Architecture）的設(shè)計模式，即各種異構(gòu)的應(yīng)用系統(tǒng)可通過獨立的消息中間件進行通信，且通信的數(shù)據(jù)路由、消息傳輸協(xié)議、傳輸質(zhì)量與安全都可管理。大數(shù)據(jù)平臺應(yīng)提供面向消息中間件的數(shù)據(jù)接入與導(dǎo)出接口。

　　三、數(shù)據(jù)預(yù)處理

　　車載終端數(shù)據(jù)的一個顯著特點是數(shù)據(jù)源源不斷，且具有周期性。因此此類數(shù)據(jù)隨車載終端數(shù)量增多，系統(tǒng)部署規(guī)模的擴大會迅速積累增長，對數(shù)據(jù)存儲與分析帶來較大壓力。對此，大數(shù)據(jù)平臺需在數(shù)據(jù)存儲之前進行一些必要的預(yù)處理：

　　1、解析

　　每種車載終端數(shù)據(jù)均有固定的schema，大數(shù)據(jù)平臺應(yīng)提供一種統(tǒng)一的schema定義工具，所有車載終端供應(yīng)商可便捷的通過此工具將數(shù)據(jù)schema導(dǎo)入或直接編輯。大數(shù)據(jù)平臺還應(yīng)提供‘通用信號’功能，在應(yīng)用與數(shù)據(jù)間提供了一個適配層，使應(yīng)用無需關(guān)注某一信號在每個異構(gòu)車載終端中的名稱。即將類似‘車速’、‘車門故障’這樣的通用描述與各種異構(gòu)車載終端中的信號名（例如不同列車總線對車速信號的定義可能是Spd/speed/carspeed等）進行綁定。

　　2、過濾

　　針對解析后的數(shù)據(jù)值，大數(shù)據(jù)平臺應(yīng)提供去重、降噪、篩選、清洗等工具將無效數(shù)據(jù)進行過濾，以達到節(jié)省存儲空間的目的。這些操作應(yīng)該是在數(shù)據(jù)接入時實時處理的。

　　3、預(yù)處理

　　此外，大數(shù)據(jù)平臺為數(shù)據(jù)分析提供預(yù)處理功能，以便提高后續(xù)數(shù)據(jù)分析的效率。預(yù)處理包括合并、分類、轉(zhuǎn)換與增強等。

　　四、數(shù)據(jù)存儲

　　傳統(tǒng)的集中式的數(shù)據(jù)存儲方案在存儲車載終端數(shù)據(jù)時均存在一些性能瓶頸。關(guān)系型數(shù)據(jù)庫的規(guī)模擴展是其最大的性能瓶頸，縱向擴展意味著花費高昂的成本采購硬件設(shè)備，橫向擴展則對數(shù)據(jù)庫管理軟件、數(shù)據(jù)庫管理員乃至網(wǎng)絡(luò)帶寬與環(huán)境等均提出非常高的要求。這主要是因為在其核心設(shè)計理念提出的上世紀(jì)70年代，分布式的概念尚未出現(xiàn)。而文件系統(tǒng)則在數(shù)據(jù)分析時面臨數(shù)據(jù)索引、文件切分等問題，影響分析效率。

　　大數(shù)據(jù)平臺應(yīng)針對車載終端數(shù)據(jù)與應(yīng)用數(shù)據(jù)提供分布式與集中式的混合型存儲建構(gòu)。其中對車載終端數(shù)據(jù)的存儲是對客觀事實的記錄，即一旦存入便不會變更，應(yīng)采用分布式方案來存儲車載終端數(shù)據(jù)，以便于靈活擴展系統(tǒng)存儲規(guī)模。應(yīng)用相關(guān)數(shù)據(jù)則可采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫進行存儲。此外，系統(tǒng)應(yīng)提供數(shù)據(jù)導(dǎo)出功能以便用戶使用專業(yè)工具進行數(shù)據(jù)處理。

　　五、數(shù)據(jù)分析

　　大數(shù)據(jù)平臺的核心功能是將原始數(shù)據(jù)通過各種數(shù)據(jù)分析的手段轉(zhuǎn)換成對用戶有意義的信息。大數(shù)據(jù)平臺的數(shù)據(jù)分析包括：

　　1、基礎(chǔ)數(shù)據(jù)運算

　　針對各種數(shù)據(jù)類型，提供相應(yīng)基礎(chǔ)數(shù)據(jù)分析功能，例如求平均數(shù)、最值、變化率、數(shù)值積分等。

　　2、機器學(xué)習(xí)

　　大數(shù)據(jù)平臺應(yīng)內(nèi)置各種機器學(xué)習(xí)的算法，并為用戶提供友好的客戶端接口。

　　3、自定義數(shù)據(jù)分析工作流

　　用戶可結(jié)合應(yīng)用需求將基礎(chǔ)數(shù)據(jù)運算功能、機器學(xué)習(xí)以及其他分析手段結(jié)合在一起組合成自定義工作流，由大數(shù)據(jù)平臺提供任務(wù)的調(diào)度與結(jié)果的展示。

　　4、實時分析

　　有些數(shù)據(jù)時效性較強，即需要被實時處理才能將原始數(shù)據(jù)轉(zhuǎn)化為對用戶有意義的信息或被用于支持一些即時決策。一旦處理不及時，這些數(shù)據(jù)所包含的信息量將大幅下降。大數(shù)據(jù)平臺可在數(shù)據(jù)預(yù)處理時提供實時數(shù)據(jù)處理.