如何更好地構(gòu)建我們的數(shù)據(jù)處理架構(gòu)，如何對IT系統(tǒng)中的遺留問題進(jìn)行現(xiàn)代化改造并將其轉(zhuǎn)變?yōu)楝F(xiàn)代數(shù)據(jù)架構(gòu)？該怎么為你的需求匹配最適合的架構(gòu)設(shè)計(jì)呢，本文將分析兩種最流行的基于速度的數(shù)據(jù)架構(gòu)，為你提供一些思路。

文章速覽：

什么是數(shù)據(jù)架構(gòu)？

基于速度的數(shù)據(jù)架構(gòu)

Lambda數(shù)據(jù)架構(gòu)

Kappa數(shù)據(jù)架構(gòu)

探索數(shù)據(jù)流模型

結(jié)語

一、什么是數(shù)據(jù)架構(gòu)？

數(shù)據(jù)架構(gòu)是企業(yè)架構(gòu)中的一個(gè)元素，繼承了企業(yè)架構(gòu)的主要屬性：流程、策略、變更管理和評(píng)估權(quán)衡。根據(jù)Open Group架構(gòu)框架，數(shù)據(jù)架構(gòu)是對“企業(yè)主要數(shù)據(jù)類型、來源、邏輯數(shù)據(jù)資產(chǎn)、物理數(shù)據(jù)資產(chǎn)和數(shù)據(jù)管理資源的結(jié)構(gòu)和交互” 的描述。

根據(jù)數(shù)據(jù)管理知識(shí)體系，數(shù)據(jù)架構(gòu)是“識(shí)別企業(yè)的數(shù)據(jù)需求（無論結(jié)構(gòu)如何）并設(shè)計(jì)和維護(hù)核心藍(lán)圖以滿足這些需求”的過程。它使用核心藍(lán)圖來指導(dǎo)數(shù)據(jù)集成、控制數(shù)據(jù)資產(chǎn)并使數(shù)據(jù)投資與業(yè)務(wù)戰(zhàn)略保持一致。

然而，糟糕的數(shù)據(jù)架構(gòu)是僵化且過度集中的。它使用了錯(cuò)誤的工具來完成工作，這阻礙了開發(fā)和變更管理。

二、基于速度的數(shù)據(jù)架構(gòu)

數(shù)據(jù)速度是指數(shù)據(jù)生成的速度、數(shù)據(jù)移動(dòng)的速度以及將其處理為可用指導(dǎo)的速度。

根據(jù)處理數(shù)據(jù)的速度，數(shù)據(jù)架構(gòu)通常分為兩類：Lambda和Kappa。

Lambda數(shù)據(jù)架構(gòu)?

1.什么是Lambda

Lambda數(shù)據(jù)架構(gòu)由Apache Storm的創(chuàng)建者Nathan Marz于 2011 年開發(fā)，旨在解決大規(guī)模實(shí)時(shí)數(shù)據(jù)處理的挑戰(zhàn)。術(shù)語 Lambda 源自lambda演算 (λ)，描述了在多個(gè)節(jié)點(diǎn)上并行運(yùn)行分布式計(jì)算的函數(shù)。Lambda數(shù)據(jù)架構(gòu)提供了一個(gè)可擴(kuò)展、容錯(cuò)且靈活的系統(tǒng)來處理大量數(shù)據(jù)。它允許以混合方式訪問批處理和流處理方法。

2.Lambda架構(gòu)的使用場景

1）當(dāng)您有各種工作負(fù)載和速度要求時(shí)，Lambda架構(gòu)是理想的選擇。由于它可以處理大量數(shù)據(jù)并提供低延遲查詢結(jié)果，因此適合儀表板和報(bào)告等實(shí)時(shí)分析應(yīng)用程序。Lambda架構(gòu)對于批處理（清理、轉(zhuǎn)換、數(shù)據(jù)聚合）、流處理任務(wù)（事件處理、開發(fā)機(jī)器學(xué)習(xí)模型、異常檢測、欺詐預(yù)防）以及構(gòu)建集中存儲(chǔ)庫（稱為“數(shù)據(jù)湖”）非常有用。

2）Lambda架構(gòu)的關(guān)鍵區(qū)別在于，它使用兩個(gè)獨(dú)立的處理系統(tǒng)來處理不同類型的數(shù)據(jù)處理工作負(fù)載。第一個(gè)是批處理系統(tǒng)，它將結(jié)果存儲(chǔ)在集中式數(shù)據(jù)存儲(chǔ)（例如數(shù)據(jù)倉庫或數(shù)據(jù)湖）中。第二個(gè)系統(tǒng)是流處理系統(tǒng)，它在數(shù)據(jù)到達(dá)時(shí)實(shí)時(shí)處理數(shù)據(jù)并將結(jié)果存儲(chǔ)在分布式數(shù)據(jù)存儲(chǔ)中。

3.Lambda架構(gòu)的組成

Lambda架構(gòu)由攝取層、批處理層、速度層（或流層）和服務(wù)層組成。

·批處理層：批處理層處理大量歷史數(shù)據(jù)并將結(jié)果存儲(chǔ)在集中式數(shù)據(jù)存儲(chǔ)中，例如數(shù)據(jù)倉庫或分布式文件系統(tǒng)。該層使用Hadoop或Spark等框架進(jìn)行高效的數(shù)據(jù)處理，使其能夠提供所有可用數(shù)據(jù)的總體視圖。

·速度層：速度層處理高速數(shù)據(jù)流，并使用Apache Flink或Apache Storm等事件處理引擎提供最新的信息視圖。該層處理傳入的實(shí)時(shí)數(shù)據(jù)并將結(jié)果存儲(chǔ)在分布式數(shù)據(jù)存儲(chǔ)中，例如消息隊(duì)列或NoSQL數(shù)據(jù)庫。

·服務(wù)層：無論底層處理系統(tǒng)如何，Lambda架構(gòu)服務(wù)層對于為用戶提供一致的數(shù)據(jù)訪問體驗(yàn)至關(guān)重要。它在支持需要快速訪問當(dāng)前信息（例如儀表板和分析）的實(shí)時(shí)應(yīng)用程序方面發(fā)揮著重要作用。

4.Lambda架構(gòu)的使用場景

Lambda架構(gòu)解決了計(jì)算任意函數(shù)的問題，系統(tǒng)必須評(píng)估任何給定輸入的數(shù)據(jù)處理函數(shù)（無論是慢動(dòng)作還是實(shí)時(shí)）。此外，它還提供容錯(cuò)功能，確保在一個(gè)系統(tǒng)出現(xiàn)故障或不可用時(shí)，任一系統(tǒng)的結(jié)果都可以用作另一個(gè)系統(tǒng)的輸入。在高吞吐量、低延遲和近實(shí)時(shí)應(yīng)用程序中，這種架構(gòu)的效率是很明顯的。

Lambda架構(gòu)示意圖

5、Lambda架構(gòu)的缺點(diǎn)

Lambda架構(gòu)提供了許多優(yōu)勢，例如可擴(kuò)展性、容錯(cuò)性以及處理各種數(shù)據(jù)處理工作負(fù)載（批處理和流）的靈活性。但它也有缺點(diǎn)：

·Lambda架構(gòu)很復(fù)雜，它使用多種技術(shù)堆棧來處理和存儲(chǔ)數(shù)據(jù)。

·設(shè)置和維護(hù)可能具有挑戰(zhàn)性，尤其是在資源有限的組織中。

·每個(gè)階段的批處理和速度層中都會(huì)重復(fù)底層邏輯。這種重復(fù)有一個(gè)代價(jià)：數(shù)據(jù)差異。因?yàn)楸M管具有相同的邏輯，但一層與另一層的實(shí)現(xiàn)不同。因此，錯(cuò)誤/錯(cuò)誤的概率較高，并且您可能會(huì)遇到批處理層和速度層的不同結(jié)果。

Kappa數(shù)據(jù)架構(gòu)?

2014年，Jay Kreps指出了Lambda架構(gòu)的一些缺點(diǎn)。這次討論使大數(shù)據(jù)社區(qū)找到了一種使用更少代碼資源的替代方案——Kappa數(shù)據(jù)架構(gòu)。

1、什么是Kappa數(shù)據(jù)架構(gòu)

Kappa（以希臘字母 ? 命名，在數(shù)學(xué)中用于表示循環(huán)）背后的主要思想是單個(gè)技術(shù)堆棧可用于實(shí)時(shí)和批量數(shù)據(jù)處理。該名稱反映了該體系結(jié)構(gòu)對連續(xù)數(shù)據(jù)處理或再處理的重視，而不是基于批處理的方法。

Kappa 的核心依賴于流式架構(gòu)。傳入數(shù)據(jù)首先存儲(chǔ)在事件流日志中。然后，它由流處理引擎（例如 Kafka）連續(xù)實(shí)時(shí)處理或攝取到另一個(gè)分析數(shù)據(jù)庫或業(yè)務(wù)應(yīng)用程序中。這樣做需要使用各種通信范例，例如實(shí)時(shí)、近實(shí)時(shí)、批處理、微批處理和請求響應(yīng)等。

2、Kappa數(shù)據(jù)架構(gòu)的組成

數(shù)據(jù)重新處理是 Kappa的一項(xiàng)關(guān)鍵要求，使源端的任何更改對結(jié)果的影響可見。因此，Kappa 架構(gòu)僅由兩層組成：流處理層和服務(wù)層。

在Kappa架構(gòu)中，只有一層處理層：流處理層。該層負(fù)責(zé)采集、處理和存儲(chǔ)直播數(shù)據(jù)。這種方法消除了對批處理系統(tǒng)的需要。相反，它使用先進(jìn)的流處理引擎（例如 Apache Flink、Apache Storm、Apache Kafka 或 Apache Kinesis）來處理大量數(shù)據(jù)流并提供對查詢結(jié)果的快速、可靠的訪問。

流處理層有兩個(gè)組件：

·攝取組件：該層從各種來源收集傳入數(shù)據(jù)，例如日志、數(shù)據(jù)庫事務(wù)、傳感器和 API。數(shù)據(jù)被實(shí)時(shí)攝取并存儲(chǔ)在分布式數(shù)據(jù)存儲(chǔ)中，例如消息隊(duì)列或NoSQL數(shù)據(jù)庫。

·處理組件：該組件處理大量數(shù)據(jù)流并提供對查詢結(jié)果的快速可靠的訪問。它使用事件處理引擎（例如 Apache Flink 或 Apache Storm）來實(shí)時(shí)處理傳入數(shù)據(jù)和歷史數(shù)據(jù)（來自存儲(chǔ)區(qū)域），然后將信息存儲(chǔ)到分布式數(shù)據(jù)存儲(chǔ)中。

對于幾乎所有用例，實(shí)時(shí)數(shù)據(jù)都勝過非實(shí)時(shí)數(shù)據(jù)。盡管如此，Kappa架構(gòu)不應(yīng)該被視為 Lambda 架構(gòu)的替代品。反之，在不需要批處理層的高性能來滿足標(biāo)準(zhǔn)服務(wù)質(zhì)量的情況下，您應(yīng)該考慮 Kappa架構(gòu)。

3、Kappa架構(gòu)的優(yōu)勢

Kappa架構(gòu)旨在提供可擴(kuò)展、容錯(cuò)且靈活的系統(tǒng)，用于實(shí)時(shí)處理大量數(shù)據(jù)。它使用單一技術(shù)堆棧來處理實(shí)時(shí)和歷史工作負(fù)載，并將所有內(nèi)容視為流。Kappa 架構(gòu)的主要?jiǎng)訖C(jī)是避免為批處理層和速度層維護(hù)兩個(gè)獨(dú)立的代碼庫（管道）。這使得它能夠提供更加精簡的數(shù)據(jù)處理管道，同時(shí)仍然提供對查詢結(jié)果的快速可靠訪問。

Kappa架構(gòu)示意圖

4、Kappa架構(gòu)的缺點(diǎn)

Kappa架構(gòu)承諾可擴(kuò)展性、容錯(cuò)性和簡化的管理。然而，它也有缺點(diǎn)。

· Kappa架構(gòu)理論上比 Lambda更簡單，但對于不熟悉流處理框架的企業(yè)來說，技術(shù)上仍然可能很復(fù)雜。

· 擴(kuò)展事件流平臺(tái)時(shí)的基礎(chǔ)設(shè)施成本。在事件流平臺(tái)中存儲(chǔ)大量數(shù)據(jù)可能成本高昂，并會(huì)引發(fā)其他可擴(kuò)展性問題，尤其是當(dāng)數(shù)據(jù)量達(dá)到TB或PB級(jí)時(shí)。

· 事件時(shí)間和處理時(shí)間之間的滯后不可避免地會(huì)產(chǎn)生數(shù)據(jù)延遲。因此，Kappa 架構(gòu)需要一套機(jī)制來解決這個(gè)問題，例如水印、狀態(tài)管理、重新處理或回填。

探索數(shù)據(jù)流模型?

1、為什么會(huì)出現(xiàn)數(shù)據(jù)流模型

Lambda和Kappa試圖通過集成本質(zhì)上不兼容的復(fù)雜工具來克服2010年代Hadoop生態(tài)系統(tǒng)的缺點(diǎn)。這兩種方法都難以解決協(xié)調(diào)批處理和流數(shù)據(jù)的根本挑戰(zhàn)。然而，Lambda和Kappa 為進(jìn)一步的改進(jìn)提供了靈感和基礎(chǔ)。

統(tǒng)一多個(gè)代碼路徑是管理批處理和流處理的一項(xiàng)重大挑戰(zhàn)。即使有了Kappa架構(gòu)的統(tǒng)一隊(duì)列和存儲(chǔ)層，開發(fā)人員也需要使用不同的工具來收集實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)并運(yùn)行批量聚合作業(yè)。今天，他們正在努力應(yīng)對這一挑戰(zhàn)。

2、什么是數(shù)據(jù)流模型

數(shù)據(jù)流模型的基本前提是將所有數(shù)據(jù)視為事件并在不同類型的窗口上執(zhí)行聚合。實(shí)時(shí)事件流是無界數(shù)據(jù)，而批量數(shù)據(jù)是具有自然窗口的有界事件流。

窗口模式示意圖

數(shù)據(jù)工程師可以選擇不同的窗口，例如滑動(dòng)窗口或會(huì)話窗口，以進(jìn)行實(shí)時(shí)聚合。數(shù)據(jù)流模型允許使用幾乎相同的代碼在同一系統(tǒng)內(nèi)進(jìn)行實(shí)時(shí)和批處理。

“批處理作為流處理的一個(gè)特例”的想法已經(jīng)變得越來越普遍，F(xiàn)link和Spark等框架也采用了類似的方法。

結(jié)語

當(dāng)然，關(guān)于速度模型的數(shù)據(jù)架構(gòu)討論還有另一個(gè)用處：適合物聯(lián)網(wǎng) (IoT) 的設(shè)計(jì)選擇，在本篇文章中，我們就不再贅述。如何最好地構(gòu)建我們處理數(shù)據(jù)的架構(gòu)，如何對僵化且緩慢的IT遺留系統(tǒng)，進(jìn)行現(xiàn)代化改造并將其轉(zhuǎn)變?yōu)楝F(xiàn)代數(shù)據(jù)架構(gòu)，顯然，關(guān)于這個(gè)問題還尚未有定論。歡迎與我們共同探討。