盡管大數(shù)據(jù)發(fā)展到現(xiàn)在，已經(jīng)有了一定的技術(shù)和商業(yè)積累，但還有很多難題等待我們解決。在眾多的難題中，亟待解決的主要挑戰(zhàn)有：運(yùn)維挑戰(zhàn)、成本挑戰(zhàn)和安全挑戰(zhàn)。

如何應(yīng)對(duì)這些挑戰(zhàn)？有沒有具體的解決方案？針對(duì)這個(gè)問題，筆者與在亞馬遜云科技任數(shù)據(jù)架構(gòu)師的朋友 will（英文名）進(jìn)行了深度交流。

我們經(jīng)常說(shuō)：當(dāng)今社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。這句話，容易讓人理解為在過(guò)去數(shù)據(jù)似乎離人們很遠(yuǎn)，或者說(shuō)過(guò)去的時(shí)代只有小數(shù)據(jù)甚至無(wú)數(shù)據(jù)。

事實(shí)上，自從人類誕生之日起，數(shù)據(jù)就承載著人類對(duì)自然萬(wàn)物、生產(chǎn)生活的記錄和表達(dá)。從古代的“結(jié)繩記事”，到現(xiàn)在的“智能儀表盤”，從傳統(tǒng)數(shù)據(jù)到網(wǎng)絡(luò)數(shù)據(jù)，從小數(shù)據(jù)到大數(shù)據(jù)，變化的只有承載數(shù)據(jù)的載體和使用數(shù)據(jù)的方法/技術(shù)，而數(shù)據(jù)作為大千世界的符碼，一直存在，且亙古未變。萬(wàn)物皆可產(chǎn)生數(shù)據(jù)，萬(wàn)物皆可數(shù)據(jù)化。

現(xiàn)如今，人們經(jīng)常將數(shù)據(jù)比作石油和金礦，其實(shí)在我看來(lái)，這只是從經(jīng)濟(jì)的視角來(lái)闡述數(shù)據(jù)的價(jià)值，而數(shù)據(jù)的價(jià)值遠(yuǎn)不止于此。數(shù)據(jù)中既有宇宙星空的奧秘，也有人類社會(huì)的百態(tài)。誰(shuí)掌握了數(shù)據(jù)，誰(shuí)就掌握了未來(lái)！

激活數(shù)據(jù)潛能，釋放數(shù)據(jù)價(jià)值，已經(jīng)成為當(dāng)今社會(huì)各界的重要共識(shí)。于是乎，我們看到越來(lái)越多的組織，將數(shù)據(jù)作為一項(xiàng)重要的資源對(duì)其進(jìn)行采集、存儲(chǔ)、管理和利用。

**01 **

大數(shù)據(jù)技術(shù)的發(fā)展歷程

隨著人們對(duì)數(shù)據(jù)越來(lái)越重視，大數(shù)據(jù)的存儲(chǔ)和處理的技術(shù)也有了較快的發(fā)展。注意：這里的數(shù)據(jù)是指已經(jīng)電子化的數(shù)據(jù)，龜殼上的甲骨文、泥板上的楔形文字、以及現(xiàn)代在紙質(zhì)文件等都不在這個(gè)范疇。依據(jù)筆者的觀察，數(shù)據(jù)存儲(chǔ)和處理技術(shù)主要經(jīng)歷了4個(gè)發(fā)展階段：

1、傳統(tǒng)SQL數(shù)據(jù)庫(kù)

傳統(tǒng)SQL數(shù)據(jù)庫(kù)也叫SMP架構(gòu)數(shù)據(jù)庫(kù)（全稱是Symmetrical Multi-Processing，SMP），其核心原理是多處理器共享統(tǒng)一的內(nèi)存和磁盤等，應(yīng)用場(chǎng)景以單機(jī)為主。我們常見的Oracle、MySQL、SQLServer、DB2等都屬于SMP數(shù)據(jù)架構(gòu)，這種架構(gòu)一直統(tǒng)治了數(shù)據(jù)存儲(chǔ)江湖40年之久，且在“小數(shù)據(jù)”管理領(lǐng)域至今依然經(jīng)久不衰。

2、MPP數(shù)據(jù)架構(gòu)

隨著DT時(shí)代的到來(lái)，整個(gè)社會(huì)數(shù)據(jù)大爆炸。企業(yè)動(dòng)輒就需要處理TB級(jí)數(shù)據(jù)量，而SMP這種共享資源的數(shù)據(jù)存儲(chǔ)架構(gòu)對(duì)于海量數(shù)據(jù)的處理顯得越發(fā)吃力。于是，一種大規(guī)模、分布式數(shù)據(jù)存儲(chǔ)架構(gòu)出現(xiàn)了，它就是MPP (Massively Parallel Processing)架構(gòu)，它可以 將查詢分散到不同節(jié)點(diǎn)并行執(zhí)行 ，顯著地提高了數(shù)據(jù)查詢的性能，MPP的出現(xiàn)為數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)分析平臺(tái)提供了出色的解決方案。MPP數(shù)據(jù)架構(gòu)的代表有：Redshift、Terdata、GreenPlum、Vertica等。

3、Hadoop數(shù)據(jù)架構(gòu)

數(shù)據(jù)的激增，帶動(dòng)了數(shù)據(jù)架構(gòu)的變革，以Hadoop、spark為代表的開源數(shù)據(jù)庫(kù)產(chǎn)品，對(duì)傳統(tǒng)SQL數(shù)據(jù)庫(kù)帶來(lái)了巨大的影響和沖擊。**Hadoop的特點(diǎn)是不僅能夠存儲(chǔ)和處理結(jié)構(gòu)化數(shù)據(jù)，還能夠?qū)Π虢Y(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)的進(jìn)行采集、存儲(chǔ)、管理和使用。**Hadoop不是單一產(chǎn)品，而是一個(gè)龐大的軟件生態(tài)系統(tǒng)，部署通常需要熟練掌握一系列工具，包括HDFS，Yarn，Spark，Impala，Hive，F(xiàn)lume，Zookeeper和Kafka等等。

4、云原生數(shù)據(jù)架構(gòu)

云計(jì)算的出現(xiàn)和發(fā)展，讓企業(yè) IT 基礎(chǔ)設(shè)施云化，應(yīng)用轉(zhuǎn)向云端。與此同時(shí)，行業(yè)內(nèi)也出現(xiàn)了云原生架構(gòu)的數(shù)據(jù)庫(kù)，其核心是充分發(fā)揮云基礎(chǔ)設(shè)施帶來(lái)的各種資源彈性的優(yōu)勢(shì)，通過(guò) 將計(jì)算和存儲(chǔ)分離，提高數(shù)據(jù)庫(kù)資源配置效率，實(shí)現(xiàn)計(jì)算和存儲(chǔ)彈性擴(kuò)展，按需分配 ，為客戶帶來(lái)超高的ROI。

以亞馬遜云科技的云原生數(shù)據(jù)倉(cāng)庫(kù)Redshift為例，Redshift采用存算分離的云原生架構(gòu)，底層數(shù)據(jù)是在S3上，支持存儲(chǔ)和計(jì)算資源的完全獨(dú)立擴(kuò)展、自動(dòng)伸縮，使得 Redshift 具備大數(shù)據(jù)量下的高并發(fā)計(jì)算能力。值得一提的是Redshift 還支持機(jī)器學(xué)習(xí)算法，用戶可以用SQL方式直接創(chuàng)建機(jī)器學(xué)習(xí)模型，這讓數(shù)據(jù)分析挖掘變得更加簡(jiǎn)單。

02

大數(shù)據(jù)所面臨的主要挑戰(zhàn)

“大數(shù)據(jù)蘊(yùn)含大價(jià)值”，這是毋庸置疑的。對(duì)企業(yè)而言，盡管大數(shù)據(jù)發(fā)展到現(xiàn)在，已經(jīng)有了一定的技術(shù)和商業(yè)積累，但還有很多難題等待我們解決。在眾多的難題中，亟待解決的主要挑戰(zhàn)有：運(yùn)維挑戰(zhàn)、成本挑戰(zhàn)和安全挑戰(zhàn)。

1、大數(shù)據(jù)的運(yùn)維挑戰(zhàn)

云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展，尤其是開源Hadoop體系的應(yīng)用，讓數(shù)據(jù)運(yùn)維工作迎來(lái)了巨大的挑戰(zhàn)。首先，企業(yè)普遍缺乏掌握大數(shù)據(jù)技術(shù)的專業(yè)化人才，很多情況下，企業(yè)負(fù)責(zé)數(shù)據(jù)人員既要做需求，又要做開發(fā)，還要做運(yùn)維。情況好一點(diǎn)的，將大數(shù)據(jù)開發(fā)和運(yùn)維剝離出來(lái)，但是面對(duì)龐大的Hadoop體系和不斷的技術(shù)發(fā)展，讓大數(shù)據(jù)運(yùn)維變得越來(lái)越困難。其次，隨著數(shù)據(jù)量和數(shù)據(jù)應(yīng)用的激增，交付運(yùn)維的東西也會(huì)越來(lái)越多。大數(shù)據(jù)運(yùn)維不僅是服務(wù)啟停、監(jiān)控、告警、作業(yè)調(diào)度等淺層次的運(yùn)維工作，更多的需要肩負(fù)起性能調(diào)優(yōu)、資源伸縮、故障處理等工作，以確保大數(shù)據(jù)的穩(wěn)定運(yùn)行。

2、大數(shù)據(jù)的成本挑戰(zhàn)

對(duì)于企業(yè)而言， 大數(shù)據(jù)項(xiàng)目的部署有時(shí)候給企業(yè)帶來(lái)的不是“大價(jià)值”，而是“大成本”。 首先，企業(yè)需要考慮的是新增硬件的費(fèi)用，例如：機(jī)房、服務(wù)器、存儲(chǔ)以及電力消耗等。其次，在軟件方面，企業(yè)盡管可以選用開源的Hadoop體系來(lái)搭建大數(shù)據(jù)平臺(tái)，但也不得不為大數(shù)據(jù)的設(shè)計(jì)開發(fā)和日常運(yùn)維付費(fèi)。當(dāng)然，也有企業(yè)選擇了云數(shù)據(jù)架構(gòu)解決方案，但是在購(gòu)置云服務(wù)時(shí)，沿用過(guò)去的本地化部署的“超配”思維，資源過(guò)度配置，不必要的容量以及環(huán)境的可見性不良等問題，導(dǎo)致了云計(jì)算成本失控。

3、大數(shù)據(jù)的安全挑戰(zhàn)

大數(shù)據(jù)的安全問題，一直是業(yè)內(nèi)的一個(gè)難題。大數(shù)據(jù)所存儲(chǔ)的數(shù)據(jù)非常巨大，也非常容易被黑客盯上。企業(yè)采用分布式數(shù)據(jù)架構(gòu)進(jìn)行存儲(chǔ)，而這種架構(gòu)數(shù)據(jù)存儲(chǔ)的路徑視圖相對(duì)清晰，導(dǎo)致數(shù)據(jù)保護(hù)相對(duì)簡(jiǎn)單，黑客較為輕易利用相關(guān)漏洞，實(shí)施不法操作。甚至有的企業(yè)有 **“開源等于安全” ** 的錯(cuò)誤認(rèn)知 ，于是積極擁抱開源軟件。事實(shí)上，開源軟件的漏洞并不少，而由此引發(fā)的數(shù)據(jù)安全和泄露問題也在逐年攀升。

03

尋求解決方案，積極應(yīng)對(duì)挑戰(zhàn)

大數(shù)據(jù)的3大挑戰(zhàn)，是當(dāng)今每個(gè)企業(yè)不得不面對(duì)的問題。但要如何應(yīng)對(duì)，有沒有具體的解決方案？

近日，針對(duì)這個(gè)問題，筆者與在亞馬遜云科技任數(shù)據(jù)架構(gòu)師的朋友 ** will ** （英文名）進(jìn)行了深度交流，will給出的解決方案是——Serverless data，他認(rèn)為 Serverless data將是基于云原生數(shù)據(jù)服務(wù)的下一代技術(shù)架構(gòu)的新常態(tài) 。

說(shuō)實(shí)話，對(duì)于Serverless我倒是聽過(guò)，但什么是Serverless data服務(wù)，以及它是否真的可以解決大數(shù)據(jù)的挑戰(zhàn)，我卻是丈二和尚摸不著頭腦，于是只能虛心請(qǐng)教！在一番交杯換盞、深度交流之后，對(duì)于這個(gè)全新的數(shù)據(jù)架構(gòu)，我終于有了一定的認(rèn)知，于是迫不及待分享給大家。

1、先說(shuō)一說(shuō)什么是Serverless

Serverless是一種云計(jì)算架構(gòu)模式，也稱為無(wú)服務(wù)器計(jì)算。 這個(gè)術(shù)語(yǔ)最早出現(xiàn)在 2012 年左右的一篇文章里，作者 Ken Fromm 對(duì)它的解釋是：Serverless一詞并不意味著不再涉及服務(wù)器，它只是意味著開發(fā)人員不再需要考慮那么多的物理容量或其他基礎(chǔ)設(shè)施資源管理責(zé)任。通過(guò)消除后端基礎(chǔ)設(shè)施的復(fù)雜性，無(wú)服務(wù)器讓開發(fā)人員將注意力從服務(wù)器級(jí)別轉(zhuǎn)移到任務(wù)級(jí)別。

Serverless是一種事件驅(qū)動(dòng)的計(jì)算模型，開發(fā)者不需要關(guān)心底層的服務(wù)器和基礎(chǔ)設(shè)施，只需要編寫處理邏輯代碼，并將其上傳到云服務(wù)提供商的平臺(tái)上。這種架構(gòu)模式具有高度的可擴(kuò)展性、靈活性、可靠性和低成本等優(yōu)點(diǎn)，適合于處理復(fù)雜的高并發(fā)應(yīng)用場(chǎng)景。

據(jù)朋友介紹，亞馬遜云科技是Serverless技術(shù)的開創(chuàng)者和引領(lǐng)者。雖然我知道華為、阿里、騰訊也都推出了自己的Serverless產(chǎn)品，但朋友說(shuō)亞馬遜云科技在這個(gè)領(lǐng)域全程領(lǐng)跑。沒有實(shí)質(zhì)證據(jù)，我就不反駁他了，哈哈哈！

2、再說(shuō)說(shuō)什么是Serverless data

Serverless data是指一種無(wú)服務(wù)器架構(gòu)的數(shù)據(jù)處理方式，它利用云服務(wù)提供商的基礎(chǔ)設(shè)施和平臺(tái)服務(wù)，以事件驅(qū)動(dòng)的方式來(lái)執(zhí)行和管理數(shù)據(jù)處理任務(wù)。在Serverless數(shù)據(jù)處理中，開發(fā)者不需要關(guān)注服務(wù)器的運(yùn)維和部署，只需要編寫處理邏輯代碼，將其部署到云服務(wù)提供商的平臺(tái)上，然后通過(guò)事件觸發(fā)器來(lái)觸發(fā)處理任務(wù)的執(zhí)行。 這種處理方式具有高可擴(kuò)展性、高可靠性、低成本等優(yōu)點(diǎn)，適合于處理大規(guī)模、復(fù)雜的數(shù)據(jù)處理任務(wù)。 以Serverless架構(gòu)的數(shù)據(jù)庫(kù)為例，它的工作原理如下：

3、Serverless data能夠解決的問題

在聽完will對(duì)Serverless data的介紹，我大致理解Serverless data在數(shù)據(jù)計(jì)算和存儲(chǔ)方面確實(shí)有一定的優(yōu)勢(shì)，但will還提到了亞馬遜云科技的全線Serverless data，據(jù)說(shuō)可以有效解決企業(yè)數(shù)據(jù)管理和應(yīng)用中的各種挑戰(zhàn)和問題。

“啥是全線Serverless data？它到底能解決哪些問題？” 在我的不斷追問之下，will給出了如下回答：

**第一，Serverless data無(wú)需運(yùn)維。**使用 Serverless Data，用戶無(wú)需關(guān)心服務(wù)器、操作系統(tǒng)、網(wǎng)絡(luò)配置等底層細(xì)節(jié)，只需要編寫代碼，托管數(shù)據(jù)庫(kù)服務(wù)或數(shù)據(jù)分析服務(wù)，它會(huì)自動(dòng)托管運(yùn)行環(huán)境，為用戶提供高可用的計(jì)算資源和彈性擴(kuò)縮容能力，從而免去了傳統(tǒng)架構(gòu)中的服務(wù)器運(yùn)維成本和風(fēng)險(xiǎn)。

第二，Serverless data可以有效降低IT成本。 使用 Serverless Data，用戶只需要在需要時(shí)啟動(dòng)服務(wù)，無(wú)需預(yù)先為未來(lái)的峰值流量或訪問量準(zhǔn)備資源，也無(wú)需為不使用的空閑資源付費(fèi)。簡(jiǎn)單來(lái)講就是，Serverless data不需要用戶預(yù)留集群容量，而是根據(jù)任務(wù)需求實(shí)現(xiàn)資源的自動(dòng)伸縮，從而提高了資源利用率和成本效益，避免資源的浪費(fèi)，有效降低企業(yè)的 IT 成本。

第三，Serverless data支持?jǐn)?shù)據(jù)的實(shí)時(shí)處理。 Serverless data可以通過(guò)事件觸發(fā)器和調(diào)度器，自動(dòng)觸發(fā)和調(diào)度數(shù)據(jù)處理任務(wù)的執(zhí)行，響應(yīng)實(shí)時(shí)事件，處理實(shí)時(shí)數(shù)據(jù)流并生成實(shí)時(shí)數(shù)據(jù)結(jié)果。

第四，Serverless data支持?jǐn)?shù)據(jù)治理。 Serverless data可以通過(guò)編寫數(shù)據(jù)處理邏輯代碼，對(duì)數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和格式化等操作，讓企業(yè)的數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)。云服務(wù)廠商也會(huì)提供一些列基于Serverless架構(gòu)的數(shù)據(jù)治理和管理工具，支持對(duì)企業(yè)數(shù)據(jù)進(jìn)行管理、監(jiān)控和維護(hù)。在數(shù)據(jù)安全防護(hù)方面，利用云服務(wù)廠商的安全防護(hù)體系，可以有效保證數(shù)據(jù)的安全和隱私。

**第五，Serverless data還能支持?jǐn)?shù)據(jù)分析和挖掘。**以亞馬遜為代表云服務(wù)廠商在數(shù)據(jù)分析和挖掘方面也提供了一系列的Serverless架構(gòu)的產(chǎn)品和工具，利用這些工具，可以對(duì)大量數(shù)據(jù)進(jìn)行分析、挖掘和可視化，以發(fā)現(xiàn)數(shù)據(jù)中的有價(jià)值信息，讓數(shù)據(jù)為業(yè)務(wù)賦能，助力企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。

第六……

第七……

吧啦吧啦……&*#￥#@~##！

will這個(gè)技術(shù)控就是這樣，聊起技術(shù)來(lái)沒完沒了。雖然我自認(rèn)為技術(shù)也還行，但跟他比起來(lái)還是自愧不如……

04

亞馬遜云科技 Serverless Data

通過(guò)這次與will的交流，我確實(shí)也學(xué)到了不少東西，對(duì) Serverless 和 Serverless Data 也有了更深的認(rèn)知。臨別之際，他丟下了一個(gè)亞馬遜云科技 Serverless 服務(wù)介紹材料。讓我們一起來(lái)看一下號(hào)稱引領(lǐng) Serverless 技術(shù)發(fā)展的亞馬遜云科技，在數(shù)據(jù)服務(wù)這個(gè)領(lǐng)域到底有哪些無(wú)服務(wù)器的服務(wù)，以及能夠給企業(yè)帶來(lái)哪些價(jià)值！