什么是數(shù)據(jù)湖？智能湖倉又是什么？亞馬遜云科技中國峰會北京站一一為你解答！

通過將不同結(jié)構(gòu)、不同類型、不同來源的相關(guān)數(shù)據(jù)匯總起來并加以分析，用戶能夠得出更深刻、更豐富的洞察見解。為此，用戶需要從不同孤島中獲取所有數(shù)據(jù)、將其聚合至統(tǒng)一位置（也就是人們常說的「數(shù)據(jù)湖」），再以此為基礎(chǔ)執(zhí)行分析與機器學(xué)習(xí)。

但在其他用例中，用戶也會將數(shù)據(jù)放置在其他專用存儲體系之內(nèi)，例如存儲在數(shù)據(jù)倉庫內(nèi)以針對結(jié)構(gòu)化數(shù)據(jù)執(zhí)行復(fù)雜查詢并快速獲得結(jié)果；或者存儲在搜索服務(wù)中以快速搜索/分析日志數(shù)據(jù)，進(jìn)而監(jiān)控生產(chǎn)系統(tǒng)的運行狀況。無論如何，要想從這些數(shù)據(jù)中獲取最佳洞見，用戶必須有能力輕松在數(shù)據(jù)湖與專用存儲系統(tǒng)之間移動數(shù)據(jù)。

但隨著系統(tǒng)中數(shù)據(jù)規(guī)模的持續(xù)增長，數(shù)據(jù)移動也變得越來越困難。為了解決這一挑戰(zhàn)、進(jìn)而從數(shù)據(jù)中獲取最大收益，亞馬遜云科技提出了Lake House“智能湖倉”方案。

作為一類現(xiàn)代化數(shù)據(jù)架構(gòu)，智能湖倉方法不僅強調(diào)將數(shù)據(jù)湖與數(shù)據(jù)倉庫集成起來，同時也涉及將數(shù)據(jù)湖、數(shù)據(jù)倉庫以及所有其他專用服務(wù)接入統(tǒng)一且連續(xù)的整體。數(shù)據(jù)湖提供對主體數(shù)據(jù)的分析環(huán)境，而專用分析服務(wù)則負(fù)責(zé)以令人滿意的速度為用戶提供具體用例支持（例如實時儀表板與日志分析功能）。

如圖所示，為真實客戶數(shù)據(jù)與常見數(shù)據(jù)遷移需求（包括數(shù)據(jù)分析服務(wù)與數(shù)據(jù)存儲間的數(shù)據(jù)遷移、由內(nèi)向外、由外向內(nèi)、周邊移動等情況）共同建立的智能湖倉方案。

這樣一套分層與組件化數(shù)據(jù)分析架構(gòu)，使用戶可以通過正確的工具完成正確的任務(wù)，同時提供以迭代及增量方式構(gòu)建架構(gòu)的良好敏捷性。在添加新數(shù)據(jù)源、發(fā)現(xiàn)新的用例/需求以及開發(fā)新的分析方法時，亞馬遜云科技可以更靈活地調(diào)整智能湖倉中的相應(yīng)組件，借此滿足當(dāng)前及未來的各類需求。

對于亞馬遜云科技的這套智能湖倉架構(gòu)，用戶可以把它組織成一套五層邏輯堆棧，其中各個層對應(yīng)著負(fù)責(zé)滿足特定需求的專用組件。

為亞馬遜云科技平臺上的智能湖倉參考架構(gòu)

亞馬遜云科技的智能湖倉參考架構(gòu)提供多種專用Amazon服務(wù)，能夠讓不同角色類型之間的數(shù)據(jù)消費方式互連互通，包括支持交互式SQL查詢、商務(wù)智能與機器學(xué)習(xí)等多種分析用例。這些服務(wù)使用統(tǒng)一的智能湖倉接口訪問存儲在Amazon S3、Amazon Redshift以及Amazon Lake Formation目錄中的所有數(shù)據(jù)與元數(shù)據(jù)。此外，各項服務(wù)還可以通過開放文件格式（例如JSON、Avro、Parquet以及ORC）使用Amazon Redshift表中存儲的平面關(guān)系數(shù)據(jù)以及S3對象中存儲的平面或復(fù)雜結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

基于專用服務(wù)組合建立的智能湖倉架構(gòu)將幫助用戶從海量數(shù)據(jù)中快速獲取面向所有用戶的洞察見解，同時充分預(yù)留升級空間，供用戶隨后續(xù)發(fā)展隨時引入新的分析方法與技術(shù)成果。

fqj