（文章來源：千家網）

隨著計算機技術，傳感器技術以及互聯網技術的發展，人類的數據總量已經達到了前所未有的規模。數據充斥著每個人的日常生活，企業每天都面臨著管理數據以及使用數據的挑戰。目前，存儲數據的載體、數據的處理技術以及數據的使用的方式方法都在不斷的演進，企業用戶對數據價值的預期也不斷增加。企業用戶期望通過數據快速帶來商業價值，同時對數據的安全，數據隱私與合規等要求越來越高。

過去的十年里，用戶需求主要集中在解決高效的存儲，并且能夠同時處理大規模數據。通過分布式的方式把數據分散在不同的服務器上，以分而治之的方式來并發處理數據，避免網絡傳輸帶來的消耗和延遲等。Hadoop 在過去十年里解決用戶需求的同時也在不斷自我演進。Cloudera’s Distribution Including Apache Hadoop(CDH)作為眾多 Hadoop 分支的一種，得到了企業用戶廣泛的認可和使用。

未來十年里，現有的數據管理使用架構與解決方案面臨新的諸多挑戰。例如龐大集群規模部署時間長，企業實際應用中缺乏高效數據隱私與安全管理，數據災難恢復能力弱，多云及混合云跨云管理繁瑣等。都需要在現有技術架構基礎上進行延展從而來應對這些新的挑戰。Cloudera 的全新 CDP 產品就是為了幫助用戶應對未來的新挑戰。

Cloudera 在 Hadoop 基礎架構下發展出的商業版 CDH，是第一代架構的代表，主要關注在本地部署云上集中同位的存儲和計算以及大型共享集群;Cloudera 認為的第二代架構，主要關注在公有云上的存儲與計算解耦和多集群，例如 Amazon EMR;Cloudera 目前提出的平臺方案 CDP 被認為是第三代架構，主要關注在多云以及混合云上的存儲與計算解耦，多租戶以及容器化的 SaaS 體驗。

去年年初，Cloudera 正式完成與 Hortonwork 的合并，新公司采用 Cloudera 品牌，新數據平臺將 HDP(Hortonworks 數據平臺)和 CDH(Cloudera Distribution Hadoop)的功能進行結合，加入安全治理堆棧，支持百分百開源，同時支持國際主流的五大公有云平臺，這意味著Cloudera 開始全面轉變為一家數據云公司。在任何云上面，不管是在公有云、私有云，混合云，還是公有云上的任何一朵云，都可以來運行?Cloudera?的數據平臺。

提供全數據生命周期支持，不只是提供?Hadoop?技術本身的支持，還提供在整個數據生命周期所有使用到的工具和平臺，包括數據采集、IoT、數據分析、BI、數據倉庫、機器學習、數據科學等。在數據安全和治理上，提出了共享的數據體驗架構，實現存儲層和計算層的解耦，更好的管理源數據，同時實現數據存儲分離。對數據的安全、治理、血緣和審計方面，提供了單獨的?SDX?工具。

Cloudera 的云數據平臺軟件 CDP可以為企業從數據戰略上提供完整的服務，其多云和混合云的統一平臺解決方案，可以實現快速部署，并靈活適用于企業各自的云使用策略，節約成本同時實現快速上線。全數據生命周期的支持可以讓企業更加高效的使用數據和挖掘數據，提升企業數據價值。同時數據安全治理為分布各種云上的數據提供有效管理。因此，現在的 CDP，既能提供多云與混合云的統一平臺解決方案，又可以支持企業全數據生命周期中提升數據價值，還能實現企業云上的數據安全治理。

企業在使用云的策略上，通常會根據其業務特點選擇公有云或私有云，有的企業也會選擇公有云 + 私有云，并構建混合云環境。Cloudera 在多云以及混合云的使用方面提出了很多新的理念和實踐。

對公有云來說，原生云服務商建立了相關的對象存儲標準，但私有云目前并沒有對應的標準。Cloudera 通過主推 Ozone 為私有云提供未來的對象存儲標準。Ozone 是 Cloudera 在 2019 年創建并引入的一個 Hadoop 子項目，是一個開源的對象存儲項目。引入 Ozone 是為了能夠徹底解決 HDFS 文件數量的限制的弱點。目前很多企業用戶在部署大規模集群的時候，都需要使用 HDFS 聯邦，而 HDFS 聯邦在實際應用中也存在各種問題，并不是最佳的解決方案，隨著集群規模不斷的增長，局限性也日益突出。

結合 CDP 存儲跟計算分離的概念，Cloudera 將 Ozone 定位為私有云的數據存儲引擎。Ozone 可以被理解為私有云里面的“S3”，所有數據都是存放在Ozone 里面，而分離的計算集群都是通過源數據，網絡遠程處理。未來規劃中，Hive、Spark、Impala 等一系列的處理引擎都會跟 Ozone 集成。

同時私有云版上跟公有云版進行映射，從而使存儲的接口和計算引擎都可以在 Ozone 上實施。由此不但可以滿足用戶使用對象存儲接口的需求，而且可以靈活的去分配計算資源，為開發帶來便捷。

從不同云的使用上講，CDP 提供公有云、Data Center和私有云版本，并提供體驗相同的各種數據服務。例如流式處理、Hive 批量處理、Spark 和即時查詢等，用戶在私有云環境里面，可以獲得跟公有云一樣的體驗。用戶使用 CDP 在自己搭建部署的云和使用 CDP 在原生云服務商的公有云時，CDP都會提供統一的用戶界面和相同的使用的方式，避免了用戶重復學習，同時大大節約了運維集群的時間。

開源是軟件技術創新的潮流，幾乎所有最新的技術都是以開源的形式在傳播和推廣。同時開源會成就技術的多樣化，一個百花齊放社區的文化可以持續不斷的發展。Cloudera 也會借助開源強大的創新能力，不斷提升對用戶的服務。

Cloudera?擁有?700?多個研發工程師，其中大概?300?名左右的?committers，同時其系列產品在全球幾千個大型客戶經過廣泛的驗證，用戶的問題可以得到快速解決。因此企業用戶訂閱?Cloudera?的企業版產品，不需要建立各自的技術團隊進行平臺底層研發和日常維護，讓企業最大限度的節省平臺成本投入。

用戶訂閱本質上是購買?Cloudera?所提供的服務，使用戶能夠釋放出維護軟件版本所需的大量寶貴的工程師資源，也不必擔心轉換平臺供應商所帶來的成本投入，令用戶能將更多資源投入在能產生更多收入的應用和產品服務上。

Cloudera?開發了諸多開源項目，這些項目已經成為行業標準，但是沒有一家公司可以成為創新唯一來源。通過投資Spark，Kbernetes和Kafka等開源項目，通過訂閱服務，用戶可以獲得可持續發展的長期架構。通過更開放包容的商業策略，Cloudera最大限度的發揮開源社區創新的原動力，持續為客戶提供更好的服務。
? ? ? （責任編輯：fqj）