昔日的數(shù)據(jù)架構(gòu)已經(jīng)無法滿足當(dāng)今對速度、靈活性和創(chuàng)新的需求。成功升級的關(guān)鍵（也是巨大的潛在回報）是敏捷性。

在過去的幾年中，組織不得不迅速在原有基礎(chǔ)設(shè)施的基礎(chǔ)上部署各種新的數(shù)據(jù)技術(shù)，從而推動由市場驅(qū)動的各種創(chuàng)新，例如定制化的報價、實(shí)時警報和預(yù)測性維護(hù)。

但是，數(shù)據(jù)湖、客戶分析平臺、流處理等技術(shù)的加入極大地增加了數(shù)據(jù)架構(gòu)的復(fù)雜性，這些技術(shù)往往嚴(yán)重妨礙了組織提供新功能，維護(hù)現(xiàn)有基礎(chǔ)設(shè)施以及持續(xù)確保人工智能模型的完整性。

當(dāng)前的市場動態(tài)不容放緩。亞馬遜和谷歌等先進(jìn)的公司一直在利用人工智能技術(shù)創(chuàng)新來顛覆傳統(tǒng)的商業(yè)模式，而這就要求落后者重新構(gòu)想自身業(yè)務(wù)的各個方面以跟上發(fā)展的步伐。云提供商已經(jīng)推出了最前沿的產(chǎn)品（例如可以立即部署的無服務(wù)器數(shù)據(jù)平臺），這些產(chǎn)品使采用者享有更快的上市時間并且具備更高的敏捷性。Analytics（分析）用戶要求使用更多兼容性強(qiáng)的工具（如自動模型部署平臺），以便他們可以更快地使用新模型。許多組織已經(jīng)采用了應(yīng)用程序編程接口（API），使來自不同系統(tǒng)的數(shù)據(jù)能夠接觸到數(shù)據(jù)湖并迅速將洞察直接集成到前端的應(yīng)用程序中。如今，隨著各大公司紛紛開始研究由冠狀病毒（COVID-19）大流行所引起的前所未有的人道主義危機(jī)并為下一次正常運(yùn)轉(zhuǎn)做準(zhǔn)備，它們對靈活性和速度的需求只會增加而不會減少。

對于要加強(qiáng)競爭優(yōu)勢（甚至是保持同等優(yōu)勢）的公司，它們必須以一種新的方法來定義、實(shí)施和集成數(shù)據(jù)棧，同時利用云（除了基礎(chǔ)架構(gòu)即服務(wù)）以及各種新的概念和組件。

打造顛覆性數(shù)據(jù)架構(gòu)的六個轉(zhuǎn)變

我們發(fā)現(xiàn)，各大公司正在對其數(shù)據(jù)體系結(jié)構(gòu)藍(lán)圖做出六項根本性的轉(zhuǎn)變，這些轉(zhuǎn)變可以更快地交付新功能并大大簡化現(xiàn)有的體系結(jié)構(gòu)方法。這些轉(zhuǎn)變幾乎涉及所有的數(shù)據(jù)活動，包括采集、處理、存儲、分析和公開。盡管組織可以在實(shí)施一些轉(zhuǎn)變的同時使其核心技術(shù)棧不受任何影響，但許多組織仍需要對現(xiàn)有數(shù)據(jù)平臺和基礎(chǔ)設(shè)施進(jìn)行仔細(xì)的架構(gòu)調(diào)整，包括以前使用的各種遺留技術(shù)和比較新的技術(shù)。

這樣的工作并非微不足道。為創(chuàng)建基本用例（例如自動報告）的功能而進(jìn)行的投資往往高達(dá)數(shù)千萬美元，而用于部署優(yōu)秀功能的體系結(jié)構(gòu)組件（例如為了與最具創(chuàng)新力的顛覆者競爭的各種實(shí)時服務(wù)）的投資則可能高達(dá)數(shù)億美元。因此，對于組織而言，制定清晰的戰(zhàn)略計劃至關(guān)重要，數(shù)據(jù)和技術(shù)領(lǐng)導(dǎo)者必須做出大膽的選擇，以優(yōu)先考慮那些將直接影響業(yè)務(wù)目標(biāo)的轉(zhuǎn)變，并投資于復(fù)雜度適中的體系結(jié)構(gòu)。因此，各大公司之間的數(shù)據(jù)架構(gòu)藍(lán)圖往往看起來截然不同。

如果投資得當(dāng)，投資回報將非常豐厚（有一家美國銀行每年可賺取5億多美元，一家石油和天然氣公司則實(shí)現(xiàn)了12%至15%的利潤率增長）。我們發(fā)現(xiàn)，這類收益來自方方面面：節(jié)省IT成本、提高生產(chǎn)率、降低法規(guī)和運(yùn)營風(fēng)險以及提供全新的功能，新服務(wù)乃至整個業(yè)務(wù)。

那么，組織需要考慮哪些關(guān)鍵變革？

1. 從本地數(shù)據(jù)平臺到基于云的數(shù)據(jù)平臺

云可能是一種全新的數(shù)據(jù)架構(gòu)方法的很具顛覆性的推動力，因為它為公司提供了一種快速擴(kuò)展人工智能工具和功能以獲取競爭優(yōu)勢的方法。亞馬遜（Amazon Web Services）、谷歌（Google Cloud Platform）和微軟（Microsoft Azure）等主要云提供商已經(jīng)徹底改變了各大組織大規(guī)模采購，部署和運(yùn)行數(shù)據(jù)基礎(chǔ)設(shè)施、平臺和應(yīng)用程序的方式。

例如，有一家公用事業(yè)服務(wù)公司將基于云的數(shù)據(jù)平臺與容器技術(shù)相結(jié)合，該技術(shù)用微服務(wù)（例如搜索賬單數(shù)據(jù)或向帳戶添加各種新屬性）將應(yīng)用程序功能模塊化。這使公司能夠在幾天（而不是幾個月）的時間內(nèi)向大約100000個業(yè)務(wù)客戶部署新的自助式服務(wù)功能，為最終用戶提供大量的實(shí)時庫存和交易數(shù)據(jù)以進(jìn)行分析并通過在云中（而不是在更昂貴的本地舊系統(tǒng)上）“緩沖”交易來降低成本。

管用的概念和組件

無服務(wù)器數(shù)據(jù)平臺（如Amazon S3和Google BigQuery）使組織可以無限地創(chuàng)建和運(yùn)行以數(shù)據(jù)為主的各種應(yīng)用程序，而無需安裝和配置解決方案或管理工作負(fù)載。此類產(chǎn)品可以降低專業(yè)門檻，將部署時間從數(shù)周縮短至幾分鐘，而且?guī)缀鯖]有產(chǎn)生任何運(yùn)營開銷。

由于使用了Kubernetes的容器化數(shù)據(jù)解決方案（可通過云提供商以及開放源代碼獲得，并且可以快速集成和部署），公司能夠脫離其他計算能力和數(shù)據(jù)存儲系統(tǒng)的部署并將這項工作自動化。此功能可以確保設(shè)置高度復(fù)雜的數(shù)據(jù)平臺（例如，將數(shù)據(jù)從一個應(yīng)用程序會話保留到另一個應(yīng)用程序會話所需的數(shù)據(jù)平臺，以及具有復(fù)雜備份和恢復(fù)要求的數(shù)據(jù)平臺）可以擴(kuò)展以滿足需求，因此它特別有用。

2. 從批處理到實(shí)時數(shù)據(jù)處理

實(shí)時數(shù)據(jù)通信和流媒體功能的成本已大大降低，這為其主流使用鋪平了道路。這些技術(shù)實(shí)現(xiàn)了一系列新的業(yè)務(wù)應(yīng)用：例如，運(yùn)輸公司可以在出租車到達(dá)時向客戶提供精確到秒的抵達(dá)時間預(yù)測;保險公司可以分析來自智能設(shè)備的實(shí)時行為數(shù)據(jù)，從而將費(fèi)率客制化;而且制造商可以根據(jù)實(shí)時的傳感器數(shù)據(jù)來預(yù)測基礎(chǔ)設(shè)施方面的各種問題。

訂閱機(jī)制等實(shí)時流媒體功能使數(shù)據(jù)消費(fèi)者（包括數(shù)據(jù)集市和數(shù)據(jù)驅(qū)動的員工）可以訂閱各種“主題”，以便他們可以獲取所需交易的持續(xù)更新。通用數(shù)據(jù)湖通常充當(dāng)此類服務(wù)的“大腦”，它保留了所有細(xì)粒度的事務(wù)。

管用的概念和組件

Apache Kafka之類的消息通信平臺提供了完全可擴(kuò)展，持久且具備容錯能力的發(fā)布/訂閱服務(wù)，該服務(wù)每秒可以處理和存儲數(shù)百萬條消息，以供立即使用或以后使用。與傳統(tǒng)的企業(yè)通信隊列相比，這可以支持實(shí)時用例，繞過現(xiàn)有的基于批處理的解決方案并且占用的空間更少（占用的成本基礎(chǔ)也更少）。

流處理和分析解決方案（例如Apache Kafka流、Apache Flume、Apache Storm和Apache Spark流）實(shí)現(xiàn)了實(shí)時對消息進(jìn)行直接的分析。該分析可以基于規(guī)則，也可以包括高級分析，從而在數(shù)據(jù)中提取事件或信號。分析往往會整合眾多歷史數(shù)據(jù)以比較各種模式，這在推薦和預(yù)測引擎中尤其重要。

Graphite或Splunk之類的警報平臺可以向用戶觸發(fā)各種業(yè)務(wù)操作，例如，如果銷售代表沒有達(dá)到每天的銷售目標(biāo)，那么他們就會得到通知，或者將這些操作集成到可能運(yùn)行于ERP或CRM的現(xiàn)有流程中。

3. 從預(yù)集成的商業(yè)解決方案到模塊化的同類最佳平臺

為了擴(kuò)展應(yīng)用程序的規(guī)模，公司往往需要沖破大型解決方案供應(yīng)商所提供的遺留數(shù)據(jù)生態(tài)系統(tǒng)的限制。現(xiàn)在，許多公司正朝著高度模塊化的數(shù)據(jù)架構(gòu)發(fā)展，這種架構(gòu)使用了最佳的，經(jīng)常使用的開源組件，這些組件可以根據(jù)需要被新技術(shù)替換而不會影響數(shù)據(jù)架構(gòu)的其他部分。

前面提到的那家公用事業(yè)服務(wù)公司正在向這種方法過渡，從而快速向數(shù)百萬客戶提供新的，以數(shù)據(jù)為主的各種數(shù)字化服務(wù)并大規(guī)模地接入基于云的各種應(yīng)用程序。例如，該公司每天都會準(zhǔn)確地顯示客戶的能源消耗和比較了同儕消費(fèi)的實(shí)時的分析洞察。該公司建立了一個獨(dú)立的數(shù)據(jù)層，該數(shù)據(jù)層包含各種商業(yè)數(shù)據(jù)庫和開源組件。數(shù)據(jù)通過專有的企業(yè)服務(wù)總線與后端系統(tǒng)同步，而托管在容器中的各個微服務(wù)在數(shù)據(jù)中運(yùn)行業(yè)務(wù)邏輯。

管用的概念和組件

數(shù)據(jù)管道和基于API的接口簡化了不同工具和平臺之間的集成，其方法是使數(shù)據(jù)團(tuán)隊免受不同層的復(fù)雜性的困擾，縮短產(chǎn)品上市時間并減少在現(xiàn)有應(yīng)用程序中引起新問題的機(jī)會。當(dāng)需求發(fā)生變化是，這些接口還使單個組件更容易更換。

Amazon Sagemaker和Kubeflow等分析工作臺可簡化高度模塊化架構(gòu)中的端到端解決方案的創(chuàng)建。這樣的工具可以與各種各樣的基礎(chǔ)數(shù)據(jù)庫和服務(wù)連接并使高度模塊化的設(shè)計成為現(xiàn)實(shí)。

4. 從點(diǎn)對點(diǎn)到脫離數(shù)據(jù)訪問

人們可以通過API來揭露數(shù)據(jù)，這樣可以確保直接查看和修改數(shù)據(jù)的做法是受限且安全的，同時還可以讓人們更快地訪問常見的數(shù)據(jù)集。這使得數(shù)據(jù)可以在團(tuán)隊之間輕松得到重用（reused），從而加速訪問并實(shí)現(xiàn)分析團(tuán)隊之間的無縫協(xié)作，從而可以更高效地開發(fā)各種人工智能用例。

例如，有一家制藥公司正在通過API為所有員工創(chuàng)建內(nèi)部“數(shù)據(jù)市場”，以簡化和標(biāo)準(zhǔn)化對核心數(shù)據(jù)資產(chǎn)的使用，而不是依賴各種專有接口。該公司將在18個月內(nèi)逐步將其最有價值的現(xiàn)有數(shù)據(jù)饋送（data feed）遷移到基于API的結(jié)構(gòu)中，同時部署API管理平臺以向用戶展示各種API。

管用的概念和組件

企業(yè)必須創(chuàng)建一個API管理平臺（通常稱為API網(wǎng)關(guān)）以創(chuàng)建和發(fā)布以數(shù)據(jù)為主的API，實(shí)施使用策略，控制訪問并衡量使用情況和性能。該平臺還可以讓開發(fā)人員和用戶搜索現(xiàn)有數(shù)據(jù)接口并重用這些接口，而不是創(chuàng)建新的數(shù)據(jù)接口。API網(wǎng)關(guān)通常作為數(shù)據(jù)中心內(nèi)的單獨(dú)區(qū)域而被嵌入，但它也可以作為中心外的獨(dú)立功能開發(fā)。

企業(yè)往往需要一個數(shù)據(jù)平臺來“緩沖”核心系統(tǒng)之外的各種事務(wù)。這樣的緩沖區(qū)可以由數(shù)據(jù)湖之類的中央數(shù)據(jù)平臺或在分布式數(shù)據(jù)網(wǎng)格中提供，這個分布式數(shù)據(jù)網(wǎng)格是一個生態(tài)系統(tǒng)，它由為每個業(yè)務(wù)域的預(yù)期數(shù)據(jù)的使用情況和負(fù)載創(chuàng)建的最佳平臺（包括數(shù)據(jù)湖、數(shù)據(jù)倉庫等）組成。例如，有一家銀行創(chuàng)建了一個縱列數(shù)據(jù)庫（columnar database），以便直接向線上銀行和移動銀行應(yīng)用程序提供客戶信息（例如最近的金融交易）并減少大型機(jī)上昂貴的工作量。

5. 從企業(yè)倉庫到基于域的架構(gòu)

許多負(fù)責(zé)數(shù)據(jù)架構(gòu)的領(lǐng)導(dǎo)者已經(jīng)從中央企業(yè)數(shù)據(jù)湖轉(zhuǎn)向“域驅(qū)動”的設(shè)計，這些設(shè)計可以定制并“合乎某個目的”，從而縮短新的數(shù)據(jù)產(chǎn)品和服務(wù)的上市時間。由于用了這種方法，雖然數(shù)據(jù)集可能仍駐留在相同的物理平臺上，但每個業(yè)務(wù)領(lǐng)域（例如，市場營銷，銷售，制造等）中的“產(chǎn)品負(fù)責(zé)人”的任務(wù)就是以易于使用的方式來組織數(shù)據(jù)集，使其既適用于域內(nèi)的用戶，也適用于其他業(yè)務(wù)域中的下游數(shù)據(jù)使用者。這種方法需要謹(jǐn)慎地權(quán)衡，以免變得支離破碎和效率低下，但是它可以減少在數(shù)據(jù)湖中創(chuàng)建新數(shù)據(jù)模型所需的時間（通常從數(shù)月縮短至數(shù)天），在反映聯(lián)合業(yè)務(wù)結(jié)構(gòu)或遵守數(shù)據(jù)移動性的法規(guī)限制時，它可以是一種更簡單有效的選擇。

有一家歐洲電信提供商使用了分布式的基于域的架構(gòu)，因此銷售和運(yùn)營人員可以將客戶、訂單和賬單等數(shù)據(jù)提供給數(shù)據(jù)科學(xué)家用于人工智能模型或直接通過數(shù)字渠道提供給客戶。該公司部署了由公司銷售和運(yùn)營團(tuán)隊中的產(chǎn)品負(fù)責(zé)人管理的各種邏輯平臺，而不是創(chuàng)建一個中心化的數(shù)據(jù)平臺。該公司還激勵產(chǎn)品負(fù)責(zé)人使用數(shù)據(jù)進(jìn)行分析并使用數(shù)字渠道、論壇和黑客馬拉松來推動采用。

管用的概念和組件

作為平臺的數(shù)據(jù)基礎(chǔ)設(shè)施提供了用于存儲和管理的一系列通用工具和功能，以加快實(shí)施速度并使數(shù)據(jù)生產(chǎn)者不必創(chuàng)建自己的數(shù)據(jù)資產(chǎn)平臺。

數(shù)據(jù)虛擬化技術(shù)始于客戶數(shù)據(jù)之類的小眾領(lǐng)域，這些技術(shù)如今已為各大企業(yè)所采用，以此來管理人們對分布式數(shù)據(jù)資產(chǎn)的使用并將分布式數(shù)據(jù)資產(chǎn)整合進(jìn)來。

即便企業(yè)沒有獲得完全訪問權(quán)或沒有做好充分準(zhǔn)備，數(shù)據(jù)編目工具也能讓企業(yè)搜索和研究數(shù)據(jù)。該目錄通常還提供元數(shù)據(jù)定義和端到端接口，以簡化對數(shù)據(jù)資產(chǎn)的訪問。

6. 從嚴(yán)格的數(shù)據(jù)模型到靈活的，可擴(kuò)展的數(shù)據(jù)模式

來自軟件供應(yīng)商的預(yù)定義數(shù)據(jù)模型和滿足特定業(yè)務(wù)智能需求的專有數(shù)據(jù)模型往往都創(chuàng)建于高度標(biāo)準(zhǔn)化的架構(gòu)（schema）中，這些架構(gòu)具有固定的數(shù)據(jù)庫表和數(shù)據(jù)元素，從而很大程度地減少冗余。盡管此方法仍然是數(shù)據(jù)報送和以法規(guī)為中心的用例的標(biāo)準(zhǔn)，但它也要求組織在合并新的數(shù)據(jù)元素或數(shù)據(jù)源時經(jīng)歷漫長的開發(fā)周期并具備豐富的系統(tǒng)知識，因為任何更改都可能影響數(shù)據(jù)的完整性。

為了在研究數(shù)據(jù)或支持高級分析時獲得更大的靈活性和強(qiáng)大的競爭優(yōu)勢，公司正朝著“架構(gòu)簡化（schema-light）”的方法發(fā)展，它們使用物理表較少的非規(guī)范化數(shù)據(jù)模型來組織數(shù)據(jù)以實(shí)現(xiàn)優(yōu)質(zhì)性能。這種方法好處頗多——靈活的數(shù)據(jù)探索，更靈活地存儲結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)以及降低復(fù)雜性，因為數(shù)據(jù)領(lǐng)導(dǎo)者不再需要引入其它抽象層（例如高度規(guī)范化的表之間的多個“聯(lián)接”）來查詢關(guān)系數(shù)據(jù)。

管用的概念和組件

數(shù)據(jù)點(diǎn)建模技術(shù)（例如Data vault 2.0）可以確保數(shù)據(jù)模型可擴(kuò)展，以便將來可以在有限的中斷范圍內(nèi)添加或刪除數(shù)據(jù)元素。

圖形數(shù)據(jù)庫是NoSQL數(shù)據(jù)庫的一種，這種數(shù)據(jù)庫近年來頗受關(guān)注。一般來說，NoSQL數(shù)據(jù)庫非常適合需要大量可伸縮性和實(shí)時功能的數(shù)字應(yīng)用程序以及服務(wù)于人工智能應(yīng)用程序的數(shù)據(jù)層，這是因為它們可以利用非結(jié)構(gòu)化數(shù)據(jù)。尤其是圖形數(shù)據(jù)庫，提供了以強(qiáng)大而靈活的方式對數(shù)據(jù)之間的關(guān)系進(jìn)行建模的功能，許多公司正在使用圖形數(shù)據(jù)庫來創(chuàng)建主數(shù)據(jù)庫，以適應(yīng)不斷變化的信息模型。

Azure Synapse Analytics之類的技術(shù)服務(wù)使人們可以訪問類似于關(guān)系數(shù)據(jù)庫的基于文件的數(shù)據(jù)，其方法是將各種表結(jié)構(gòu)動態(tài)地應(yīng)用到各種文件。用戶得以靈活地在訪問存儲于文件中的數(shù)據(jù)時繼續(xù)使用各種通用接口（例如SQL）。

使用JavaScript對象表示法（JSON）來存儲信息，這使組織可以更改數(shù)據(jù)庫結(jié)構(gòu)而不必更改業(yè)務(wù)信息模型。

如何開始

數(shù)據(jù)技術(shù)正在迅速發(fā)展，這使定義三到五年的目標(biāo)架構(gòu)的狀態(tài)并朝著這個方向努力的傳統(tǒng)工作既充滿風(fēng)險又效率低下。只要制定各種使數(shù)據(jù)領(lǐng)導(dǎo)者和技術(shù)領(lǐng)導(dǎo)者快速評估和部署各種新技術(shù)的實(shí)踐，以便他們快速適應(yīng)，那么他們就能得到更好的服務(wù)。下面來看看四種重要的做法：

將測試中學(xué)習(xí)的思維方式應(yīng)用于架構(gòu)創(chuàng)建并嘗試使用各種不同的組件和概念。這種敏捷實(shí)踐已經(jīng)在應(yīng)用程序開發(fā)中應(yīng)用了很長時間并且最近在數(shù)據(jù)領(lǐng)域得到沿用。例如，領(lǐng)導(dǎo)者可以從較小的預(yù)算開始，創(chuàng)建最小可行產(chǎn)品或者將現(xiàn)有的開源工具整合起來創(chuàng)建一個臨時產(chǎn)品并將其投入生產(chǎn)（使用云來加速這個過程），以便它們可以在得到擴(kuò)展和進(jìn)一步發(fā)展之前展示其價值;相反，領(lǐng)導(dǎo)者不應(yīng)該為了找到“完美”的選擇而參與有關(guān)最佳設(shè)計，產(chǎn)品和供應(yīng)商的漫長討論，然后再進(jìn)行冗長的預(yù)算批準(zhǔn)。

建立數(shù)據(jù)“部落”，由數(shù)據(jù)管理人員，數(shù)據(jù)工程師和數(shù)據(jù)建模人員組成的團(tuán)隊負(fù)責(zé)創(chuàng)建端到端的數(shù)據(jù)體系結(jié)構(gòu)。這些部落還致力于創(chuàng)建標(biāo)準(zhǔn)的，可重復(fù)的數(shù)據(jù)工程流程和特征工程流程，從而為開發(fā)高度可建模的數(shù)據(jù)集提供支持。這些敏捷的數(shù)據(jù)實(shí)踐有助于加快各種新數(shù)據(jù)服務(wù)的上市時間。

投資數(shù)據(jù)運(yùn)維（DataOps，即用于數(shù)據(jù)的強(qiáng)化了的DevOps）有助于加快新組件在數(shù)據(jù)體系結(jié)構(gòu)中的設(shè)計，開發(fā)和部署，以便團(tuán)隊可以根據(jù)反饋快速實(shí)施和頻繁更新各種解決方案。

創(chuàng)建這樣一種數(shù)據(jù)文化，在這種文化氛圍里，員工希望在其職務(wù)范圍內(nèi)應(yīng)用各種新的數(shù)據(jù)服務(wù)。實(shí)現(xiàn)這一目標(biāo)的一個重要工具是確保數(shù)據(jù)戰(zhàn)略與業(yè)務(wù)目標(biāo)相關(guān)聯(lián)并在高管向組織發(fā)出的信息中得到反映，這有助于強(qiáng)調(diào)這項工作對業(yè)務(wù)團(tuán)隊的重要性。

隨著數(shù)據(jù)、分析和人工智能在大多數(shù)組織的日常運(yùn)營中得到越來越深入的應(yīng)用，為了創(chuàng)建和發(fā)展以數(shù)據(jù)為中心的企業(yè)而對數(shù)據(jù)架構(gòu)采取截然不同的方法是十分必要的，這是顯而易見的。那些采用這種新方法的數(shù)據(jù)和技術(shù)領(lǐng)導(dǎo)者可以更好地定位自己的公司，即具備敏捷性，彈性并且在未來具有競爭力。