女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

為什么需要數據倉庫?

智能感知與物聯網技術研究所 ? 來源:通信信號處理研究所 ? 2020-05-13 15:47 ? 次閱讀

數據倉庫為組織了解其歷史業務表現和推動持續運營提供了一個接入窗口,為數據分析師和業務用戶提供了諸如客戶行為、業務趨勢、運營效率和銷售等方面的信息。盡管出現了基于Hadoop和其他一些大數據技術的數據湖這一概念,但隨著公司越來越需要從更多不同的源系統收集和分析業務數據,這使得數據倉庫仍然具有其實用價值,甚至比以前更加重要。

但作為數據管理體系結構的一部分,在對數據倉庫平臺進行投資之前,首先還是要檢查您的組織是否真的需要一個數據倉庫平臺,以及通過實施部署,組織可以借此獲取哪些業務收益。相關的,您必須考慮不同的數據倉庫部署情況——在企業范圍內還是部門范圍內,在本地還是在云中。

您還需要確定,通常存儲在大數據系統中的非結構化和半結構化數據,是否會成為數據倉庫環境的組成部分,并確定是否將用于BI、企業報告和在線分析處理(OLAP)等應用的傳統數據倉庫,與數據處理和大數據分析管理集成在一起。最后,您必須將您的數據倉庫用例與最合適類型的數據倉庫平臺相匹配。

為什么需要數據倉庫?

數據倉庫的一般概念非常簡單:從支持業務流程的操作系統中定期提取數據副本,并將其加載到單獨的存儲庫中,在該存儲庫中,數據將被合并,然后可用于分析和報告。之后,業務用戶和分析師可以通過BI和分析工具、儀表板、入口和準備好的報告來訪問數據。

在下面這些情況下,數據倉庫可能更容易發揮其價值:

·公司在做出有效的商業活動報告方面遇到了難題,因為所需要的數據不容易獲得。

·不同部門和用戶組會將業務數據復制到電子表格中以進行分析,而這些電子表格并非總是相互一致的。

·數據質量和準確性的不確定性,導致企業高管和業務經理會質疑報告的準確性。

·針對生產數據庫的BI報告會每晚延遲,或在月底進行的交易數據處理,需要擴展處理窗口。

·在工作日對數據庫運行臨時查詢會降低操作系統的速度,從而影響內部用戶和客戶、供應商以及其他外部用戶。

一個正確數據倉庫實施策略可以幫助您的組織準確地回答有關業務運營的問題,如發生了什么、為什么。數據倉庫可將來自不同位置和來源的數據組合到中央存儲庫中,從而提高數據的可訪問性。當數據移至數據倉庫時,通常還會對其進行清理和轉換,以使其與分析一致,這將有助于提高查詢結果和報告中信息的質量。

此外,一旦數據倉庫部署完成并得到積極使用,由于BI、報告和分析活動已從生產數據庫中移出,運營工作流程可能會變得更有效率。

數據倉庫的部署

各個組織之間的數據倉庫環境可能會有很大差異。從體系結構的角度來看,部署可以遵循多個路徑——如一個企業數據倉庫(EDW),一組較小的數據集市,或這兩種方法的組合。

EDW包含來自企業操作系統的所有相關數據,并且可能包含一些從外部數據源收集的數據。它是用于BI和分析數據的單個統一存儲庫,可以在所有部門和業務部門中使用。因此,建立EDW通常是一項艱巨的任務,尤其是在大型企業中。

在EDW架構中,組織還可以在其操作系統和企業數據倉庫之間實施運營數據存儲(ODS)作為過渡步驟。將運營數據復制到ODS,然后提取并加載到數據倉庫中。ODS可以用作尚未經過轉換的、無法用于分析的數據的暫存區,同時可以用于運行近實時的查詢,這些查詢需要最新的業務運營的詳細相關數據,而不是數據倉庫中可用的數據。

數據集市是小型化的數據倉庫,專注于各個業務部門和職能領域。當需要滿足部門對BI的特定需求時,組織通常會選擇建立數據集市,并且優先考慮報告功能。數據集市不需要涵蓋整個企業的龐大項目,而是更加集中,并且可以更快地提供業務收益。

因此,數據集市的方法使組織可以通過一次處理一個業務的各個部分——而不是構建整體的EDW——以迭代方式開發數據倉庫體系架構。企業可以選擇部署一個或多個數據集市,具體取決于組織的規模和結構。

然后,決定組合采用這兩種方法的組織,可以將不同的數據集市彼此集成以創建虛擬EDW,或以物理方式填充一個EDW。另一種方式是,以EDW開始的組織可以將倉庫數據的子集提供給后來建立的數據集市,以此分離業務運營。

本地與云數據倉庫

每種可用的數據倉庫平臺類型都有不同的部署選項:數據庫管理系統(DBMS)軟件,通常基于關系數據庫技術;專門的分析型DBMS;數據倉庫設備將必要的硬件和DBMS軟件捆綁在一個包裝中;云數據倉庫。

將云用于數據倉庫已成為更可行的選擇。有些供應商已經推出了特定于云的數據倉庫平臺,而且有些最初設定為本地安裝的數據倉庫數據庫,其供應商現在也提供了基于云的版本。此類產品包括組織自己在云中運行的常規數據倉庫系統,以及供應商為用戶部署和管理的數據倉庫即服務(DWaaS)技術。

與其他類型的云系統一樣,與本地環境相比,云數據倉庫可以減少部署時間,并提供更輕松的可伸縮性和更大的靈活性。還可以節省一定的成本——但這并不能保證,IT經理需要密切關注云中數據倉庫的使用,以確保成本最終不會高于預期。同樣,數據安全和隱私問題可能是決定是否在本地部署數據倉庫的考慮因素。

數據湖與數據倉庫

在Hadoop和其他大數據技術首次出現之后,關于它們是否會替代數據倉庫,市場上充滿了各種聲音。但是在大多數組織中,數據倉庫并沒有消失。相反,它們和大數據系統通常并存,每種系統都支持不同類型的分析用例。

數據倉庫平臺通常基于關系DBMS,并包含源自組織的運營和交易處理系統的結構化數據。數據倉庫主要由希望運行基于SQL的、基本BI查詢的業務分析人員和執行人員,以及希望創建儀表板和報告以向業務用戶提供分析信息的BI開發人員訪問。

另一方面,大數據系統通常基于非關系技術,例如Hadoop、Spark和NoSQL數據庫。它們包含的數據可以是結構化、非結構化或半結構化的,并且可以源自所有類型的內部系統,以及社交網絡和其他外部數據源。大數據分析旨在發現模式、關聯和類似的見解——例如,根據過去的活動預測未來趨勢和客戶行為。通常是由數據科學家和統計人員使用Python、R和Scala等語言開發的復雜分析模型完成的。

大數據技術還支持數據湖的概念,數據湖是來自各種來源的原始數據的存儲庫,可以按原樣存儲這些數據,然后根據需要對其進行過濾和分析準備。

最后,大數據系統并不能直接替代數據倉庫和數據集市。實際上,數據倉庫和數據湖之間存在協同作用。例如,可以將在數據湖中收集的結構化數據集移動到數據倉庫中,以進行常規的OLAP存儲和分析。供應商也已開始將大數據訪問集成到數據倉庫平臺中,從而可以從一個位置訪問存儲在不同系統中的,不同格式的數據。

數據倉庫用例和場景

下面我們介紹一些用例和方案,這可能會影響組織的數據倉庫策略,以及決定為數據倉庫項目部署哪種類型的平臺。

初次VS長期數據倉庫用戶。希望擴展現有數據倉庫的公司通常會很好地繼續使用他們已經建立的數據倉庫平臺。對于第一次實施數據倉庫的組織而言,數據倉庫設備可能是一個不錯的選擇。供應商可能會與您一起確定適合的設備規格和配置,而且這些設備的交付是非常簡易的。但是,所有數據倉庫平臺對于首次使用的用戶都是可行的選擇,您應該審查本部門中的其他用例,以開發您的特定要求和部署計劃。

公司規模。大型公司可能會選擇主流的關系DBMS、分析數據庫或混合事務/分析處理(HTAP)系統。這些組織擁有成功使用此類技術的基礎架構和人員。在HTAP方法中,相同的DBMS既可以用于處理業務交易,也可以用于BI和分析建模。為了支持HTAP,關系數據庫引擎可以提供內置的列式訪問或用于分析處理的附加設備。

另一方面,較小的組織應考慮使用數據倉庫設備或云數據倉庫服務。這兩種選擇都可以最大程度地減少管理需求:設備已預先配置,并且DWaaS環境提供的云中的數據倉庫一般由云服務提供商進行設置和管理。

IT部門的規模。IT部門相對較小的大型組織往往擁有較少的數據庫管理員和其他可以建設、調整和管理數據倉庫系統的IT專業人員。對于他們來說,考慮使用數據倉庫設備或DWaaS產品也很有意義。

云用例。如果您的組織在云中運行大量應用程序,則DWaaS部署或自我管理的云數據倉庫平臺可能是您的最佳選擇。將生成和存儲在云中的業務數據保存在云中以進行數據倉庫和分析是一種符合邏輯的方法。

數據延遲要求。對于在分析應用程序中需要最小數據延遲的組織而言,優化的數據倉庫設備可能最有價值。使用其他方法也不是說無法實現近實時的延遲,但是您可能需要使用其他高速硬件和軟件來擴展數據倉庫環境,以滿足您的性能目標。

一旦您的組織決定需要建設一個數據倉庫,并確定了最合理的部署方案,下一步就是研究購買數據倉庫平臺的可用技術選項。整個過程,往往需要經過萬全的考慮。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據倉庫
    +關注

    關注

    0

    文章

    61

    瀏覽量

    10662
  • 大數據
    +關注

    關注

    64

    文章

    8952

    瀏覽量

    139524

原文標題:大數據時代,數據湖并不能完全取代數據倉庫

文章出處:【微信號:tyutcsplab,微信公眾號:智能感知與物聯網技術研究所】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    Helm倉庫管理常用配置

    Helm 倉庫(Repository)是存儲 Helm 圖表(Chart)的地方,類似于軟件包管理器的倉庫(如 apt、yum 倉庫)。
    的頭像 發表于 06-07 09:27 ?92次閱讀

    物聯網、AI與自動化驅動下的軍用倉庫信息化轉型升級方案

    的勝負。 想象一下,“智慧倉庫” 就像一個超級智能管家,它的目標是把物資管理得又快又準又安全。物資從送進倉庫、存放保管,到最后送出去,全程都實現自動化和數字化。前線部隊需要什么物資,倉庫
    的頭像 發表于 06-04 13:49 ?81次閱讀
    物聯網、AI與自動化驅動下的軍用<b class='flag-5'>倉庫</b>信息化轉型升級方案

    部隊倉庫管理模式革新,RFID技術讓倉庫管理更高效

    在風雷激蕩的現代戰場,從彈藥油料到被裝口糧,每一件物資都關乎前線士兵的生命與戰斗的成敗。軍用倉儲管理系統正是這復雜物資生命線的神經中樞,將昔日沉寂的倉庫轉變為戰場最敏銳的神經末梢。它超越傳統倉庫
    的頭像 發表于 06-03 17:44 ?85次閱讀
    部隊<b class='flag-5'>倉庫</b>管理模式革新,RFID技術讓<b class='flag-5'>倉庫</b>管理更高效

    支持二維碼掃描的PDA數據采集器,用于倉庫,出入庫、庫存管理

    在現代倉庫管理中,支持二維碼掃描的PDA數據采集器已成為不可或缺的工具。這種便攜式的智能移動終端,憑借其高效、準確的數據采集能力,極大地提升了倉庫管理的效率和精度。PDA
    的頭像 發表于 02-19 15:48 ?390次閱讀
    支持二維碼掃描的PDA<b class='flag-5'>數據</b>采集器,用于<b class='flag-5'>倉庫</b>,出入庫、庫存管理

    戴爾數據湖倉助力企業數字化轉型

    在數字化轉型的浪潮下,企業正面臨著前所未有的數據挑戰。從傳統的結構化數據到如今的非結構化數據、半結構化數據,每一種類型都對企業的存儲和分析能力提出了更高的要求。面對這些變化,傳統的
    的頭像 發表于 12-20 09:31 ?448次閱讀

    醫藥倉庫溫濕度監控系統應用

    。 醫藥倉庫溫濕度監控系統,結合物聯網、無線通訊等技術,通過傳感器全天候實時采集倉庫內的溫濕度數據,管理云平臺對接收到的數據進行深入分析、處理,并以圖表、曲線等形式直觀展示溫濕度變化趨
    的頭像 發表于 12-17 16:16 ?572次閱讀

    探索RFID應急物資倉庫管理的創新應用

    在緊急救援行動中,時間就是生命。傳統的應急倉庫管理方法由于缺乏實時數據和自動化流程,往往導致響應速度慢和資源分配不當。快速有效的倉庫管理和物資調配對于救援工作的成功至關重要。而 RFID技術 的引入
    的頭像 發表于 11-14 16:44 ?468次閱讀

    RFID手持終端在倉庫管理中的應用

    倉庫管理是供應鏈管理中的重要環節,它涉及到貨物的接收、存儲、揀選、打包、發貨等多個環節。隨著科技的發展,RFID(射頻識別)技術在倉庫管理中的應用越來越廣泛,極大地提高了倉庫作業的效率和準確性
    的頭像 發表于 10-29 09:16 ?861次閱讀

    云計算在大數據分析中的應用

    和處理大規模的數據集。通過云計算平臺,用戶可以快速構建數據倉庫,將海量數據進行存儲、管理和分析。這種能力使得企業能夠高效地處理PB級別的數據,滿足大
    的頭像 發表于 10-24 09:18 ?1013次閱讀

    多功能數據采集背夾廣泛應用于用于倉庫、物流運輸等行業

    隨著信息技術的飛速發展,多功能數據采集背夾作為一種創新型的智能設備,正逐步在倉庫、物流運輸等行業中展現其巨大的應用價值。這種設備以其便攜性、高效性和多功能性,成為現代企業管理中不可或缺的一部分。在
    的頭像 發表于 09-12 14:49 ?623次閱讀
    多功能<b class='flag-5'>數據</b>采集背夾廣泛應用于用于<b class='flag-5'>倉庫</b>、物流運輸等行業

    使用Nexus在本地搭建npm、yum和maven私有倉庫

    、apt源、npm等等,私服的概念就是在本地架設一個中央倉庫,在這個中央倉庫上配置遠程服務器源,當我們客戶端需要某些包時,如果本地
    的頭像 發表于 08-21 14:46 ?556次閱讀
    使用Nexus在本地搭建npm、yum和maven私有<b class='flag-5'>倉庫</b>

    醫藥倉庫溫濕度監控系統

    在現代醫藥行業中,藥品的質量與安全直接關系到患者的生命健康。因此,藥品的儲存環境,尤其是溫濕度條件,成為制藥企業、醫院及醫藥倉庫管理中至關重要的環節。為確保藥品在儲存過程中的穩定性和有效性,醫藥倉庫
    的頭像 發表于 08-21 12:01 ?647次閱讀

    藥品倉庫溫濕度監控系統

    藥品倉庫作為藥品儲存的主要場所,需要特定的溫度和濕度條件,其環境條件的控制直接影響到藥品的質量和療效,以保持其穩定性和有效性。因此,建立一個高效、可靠的藥品倉庫溫濕度監控系統,對于確保藥品的安全儲存
    的頭像 發表于 07-26 10:12 ?603次閱讀

    恒溫倉庫環境監測解決方案

    在當今日益發展的物流倉儲行業中,恒溫倉庫的環境監測與管理已成為確保產品質量和存儲安全的關鍵環節。隨著物聯網、大數據等技術的不斷發展,恒溫倉庫環境監測解決方案也日趨完善,為倉儲行業帶來了前所未有的便利
    的頭像 發表于 07-23 16:33 ?506次閱讀

    數據倉庫數據庫的主要區別

    數據倉庫數據庫是兩個在信息技術領域中常見的概念,它們在數據管理和分析方面發揮著重要作用。盡管它們在某些方面有相似之處,但它們在設計、目的和功能上存在顯著差異。本文將介紹數據倉庫
    的頭像 發表于 07-05 14:57 ?882次閱讀