Observe 是一家提供可觀察性云解決方案的公司，以幫助企業(yè)加速應用故障排查和問題解決的效率。公司成立于2017年9月，總部位于美國加利福尼亞州圣馬特奧。到目前為止，Observe 已經(jīng)在5輪融資中總共籌集了1.62億美元。他們最近的一輪融資是在2023年10月5日，通過可轉(zhuǎn)換票據(jù)融資籌集了5000萬美元，并推出了新一代人工智能功能。

本篇內(nèi)容是根據(jù)Observe官網(wǎng)的技術文章翻譯整理，以下3點是NineData的數(shù)據(jù)庫工程師對多云的思考：

多云是今天的現(xiàn)實，也是未來的趨勢 （公共云基礎設施用戶中有86%正在實施多云策略）；

多云環(huán)境下的數(shù)據(jù)管理成為新的需求，包括文章中提到的Observability；

云環(huán)境越來越復雜，既是困難，也是機遇。

什么是多云可觀察性？它是一種令人興奮的新的科技趨勢，還是只是最新一輪的被技術觀測和監(jiān)控廠商的營銷部門夸大的流行詞？你可能已經(jīng)猜到了，答案介于兩者之間。就像科技中許多流行的流行詞一樣，它起源于組織所感受到的實際需求，但在不同的上下文中，它的含義也會有所不同。因此，如果使用了多個云，是否需要多云可觀察性？如何實現(xiàn)多云可觀察性？它與“常規(guī)”可觀察性有什么不同？

簡而言之，隨著公共云成為主流，任何企業(yè)中使用多個云提供商的服務已經(jīng)變得非常普遍。因此，“多云”一詞應運而生。從領先的云提供商那里獲得創(chuàng)新是件好事，但多云環(huán)境是一把雙刃劍。企業(yè)最終使用多個云的原因有很多，同時操作這些云也帶來了許多挑戰(zhàn)。可觀察性是一種方法，可以幫助解決一些操作上的挑戰(zhàn)，使日常生活更加有序。這就是“多云可觀察性”一詞的由來。

如果我們要簡潔地解釋多云可觀察性，我們會說它是這樣的：讓跨越多個公共云的服務變得可以觀測，以減少發(fā)現(xiàn)和解決問題所需的時間。但是這個話題比這更復雜一些，了解多云可觀察性是什么以及如何實現(xiàn)它是兩個不同的事情。在這本電子書中，我們將介紹：

什么是多云，它是如何產(chǎn)生的

為什么多云需要可觀察性，以及具體的考慮因素

如何從多云可觀察性中受益

多云是什么？

在談論多云可觀察性之前，我們必須首先討論多云。在這里，我們將定義多云，研究導致其被“采用”的催化劑，以及它如何為想要實現(xiàn)可觀察性的組織帶來挑戰(zhàn)。

起初......混合云(Hybrid Cloud)出現(xiàn)了

在多云出現(xiàn)之前，有混合云。混合云通常指同時使用位于數(shù)據(jù)中心和公共云中的基礎設施。有一段時間，混合云引起了一些爭議，因為公司還沒有習慣將重要的所有權(quán)或基礎設施交給第三方。它已經(jīng)成為許多大型企業(yè)的常態(tài)，因為一些應用程序被遷移到云中或在那里構(gòu)建新應用程序，而一些遺留或安全敏感的應用程序仍然保留在本地。對于較小的組織，從一開始就接受公共云資源并不罕見，并且?guī)缀鯖]有（如果有的話）本地數(shù)據(jù)中心的空間。

當然，隨著云的使用變得更加普遍，并且有許多不同類型的云可供選擇，情況一直在不斷發(fā)展演變。有本地和托管的私有云、公共云提供商，甚至還有在公共云中運行的SaaS服務。有效地使用這些位置上運行的一些組合服務構(gòu)成了多云采用。一般來說，多云指的是一個組織內(nèi)使用多個公共云。然而，就像長方形可以組成正方形一樣，如果本地的東西是“類似于云”，混合云也可以被認為是多云。這隨著AWS Outposts或GCP Anthos等公共云的本地和混合服務的出現(xiàn)變得越來越可行。可以說，多云是一個廣泛的術語，其含義并不總是單一的，但通常與使用多個公共云有關。

直面現(xiàn)實Reality Check

那么，多云的現(xiàn)實使用情況是怎么樣？根據(jù)分析公司ESG發(fā)布的博客，截至2022年，他們的研究表明，目前公共云基礎設施用戶中有86%正在實施多云策略，平均使用2到4個公共云。無論確切的數(shù)字是多少，都可以肯定地說，使用多個公共云是非常常見的，這也是多云面對的一個非常現(xiàn)實的問題。

當我們談論“云計算”時，用戶（至少在北美）傾向于考慮三大主要的公共云提供商。亞馬遜網(wǎng)絡服務、微軟Azure和谷歌云平臺通常被認為是領先的公共云提供商。但是，還有許多其他的公共云提供商，如阿里巴巴、IBM、Oracle、DigitalOcean、Rackspace等等。

二級和三級服務提供商，或者說任何非主要云提供商的服務，都可能而且確實在一些公司的云支出中占據(jù)了相當大的比重。在Stack Overflow的2022年開發(fā)者調(diào)查中，55%的專業(yè)開發(fā)人員表示他們在過去一年中廣泛使用AWS，其次是30%使用微軟Azure和26%使用谷歌云平臺。在提到AWS使用的22,357名專業(yè)開發(fā)人員受訪者中，26%表示他們希望在未來一年與GCP合作，20%表示他們希望與Azure合作。很容易看出，即使另一家公有云已成為主要供應商，次要供應商仍能在企業(yè)中立足。然而，這并不總是由于有意識地決定實施多云或混合云而發(fā)生的。

如何實現(xiàn)多云？

我們說多云環(huán)境是“發(fā)生”的，是因為它并不總是一個經(jīng)過商定的戰(zhàn)略或有意識的選擇，通常組織會因為各種原因而使用多個云服務。以下是其中一些原因：

可靠性和冗余性：如果您關注可靠性，您可能會將數(shù)據(jù)存儲在同一提供商的多個地區(qū)。這種思路也會導致組織將應用程序或數(shù)據(jù)存儲在多個云中，以進一步保護自己免受其無法控制的故障的影響。

訪問專有服務：不同的云提供商提供一系列類似的服務，例如，您可以從任何基礎設施即服務供應商那里找到廉價的對象存儲服務。然而，公司還通過獨特的技術進行差異化（一個例子是只有在GCP中才有的TPU）。對特定服務的需求可以推動新平臺的采用。

影子IT：影子IT這個術語有負面的含義，但用戶根據(jù)自己的需求自行注冊服務是進行盡職調(diào)查的一部分。不管原因是什么，組織內(nèi)并不總是所有人都知道何時引入了新的云服務。

提供商特定的技能集：核心服務在不同云之間可能有基本的相似之處，但使用它們可能需要特定的技能集。人員可能更熟悉某個特定的服務提供商，這可能是影響該組織是否額外使用或轉(zhuǎn)換到新的云服務提供商的因素之一。

延遲和數(shù)據(jù)位置：盡管我們盡力而為，但無法欺騙物理定律。如果某項服務對延遲敏感，而您當前的服務提供商最近的區(qū)域距離不夠近，您可能需要尋找其他選擇。例如，如果您的業(yè)務位于澳大利亞珀斯，最近的AWS區(qū)域位于該國的另一端悉尼。這可能看起來是一個極端的例子，但它展示了距離對業(yè)務運營的真實影響。數(shù)據(jù)位置也可能是數(shù)據(jù)局部性法規(guī)的一個因素，當數(shù)據(jù)需要保留在特定的物理區(qū)域時，有時這可能需要使用其他服務提供商。

很容易看出，一個組織可能最初只使用另一個云服務提供商的一個服務，而這種情況很快就會擴大。使用范圍可以從單個用戶擴展到其團隊以及其他人，一個服務也可以迅速發(fā)展為多個服務的使用。如上所述，多云的原因有些是積極的，該組織從中獲得一些好處。然而，這種動態(tài)可能導致復雜的運營、安全和合規(guī)挑戰(zhàn)，如果不加以解決可能會帶來風險。

為什么我們需要多云可觀察性？

無論好壞，您的組織已經(jīng)實施了多云，那么這與可觀察性有什么聯(lián)系呢？可觀察性可以幫助企業(yè)應對眾多運營挑戰(zhàn)，最大限度地減少停機時間。然而，許多組織仍處于可觀察性旅程的早期階段，依賴于傳統(tǒng)工具，這些工具無法提供完整的環(huán)境信息。更糟糕的是，多云帶來了新的挑戰(zhàn)，使保持可見性和執(zhí)行故障排除變得更加困難。這使得實現(xiàn)可觀察性變得更加重要。

更多的云，更多的數(shù)據(jù)，更多的問題？

如果您的 IT 團隊正在使用多個云，那么您可能希望可觀察性能夠跨越所有云，以提供可操作的見解，而不僅僅是突出顯示單個云的性能問題。這說起來容易做起來難，很多企業(yè)可能認為自己已經(jīng)具備了可觀察性，但其實他們只是實施了監(jiān)控。我們的《2022 年可觀察性狀況報告》顯示，環(huán)境的復雜性是實現(xiàn)可觀察性的首要障礙。隨著環(huán)境越來越復雜，對可觀察性的需求也越來越強烈，但獲得可觀察性的難度也越來越大。

可觀察性與數(shù)據(jù)緊密相關。當需要進行分析時，數(shù)據(jù)的來源數(shù)量和來源位置都不應成為問題。理想情況下，對于故障排除來說，更多的數(shù)據(jù)是件好事。然而，如果你的環(huán)境高度分布式，那么設置起來會需要更多的考慮。由于微服務、Kubernetes、無服務器和其他云原生技術的日益普及，復雜的分布式應用正在增加。環(huán)境變得越分布式和復雜，就越難以對其所有部分保持可見性。手動對代碼進行可觀察性的儀表化是最快增長的挑戰(zhàn)之一，一年內(nèi)增長了將近一倍，從17%增長到30%。

隨著復雜性的增加，你還面臨著操作性隔離的風險，即你組織中只有少數(shù)人了解整個環(huán)境，而更多關注于他們?nèi)粘９ぷ髦凶钕嚓P的部分。當需要進行故障排除時，這必然會引起問題。如果你擁有可觀察性，那么它將幫助你避免這些問題。

不要讓云成為孤島

每個公共云都有自己獨特的服務，但許多服務實際上更相似而不是不同。例如，你可能同時使用亞馬遜S3和Azure Blob Storage，雖然它們在本質(zhì)上是不同的專有服務，但它們都是對象存儲。你可能正在查看類似的遙測數(shù)據(jù)，但因為這些服務存在于不同的公共云中，彼此分離，它們變成了孤立的信息島。

很可能你甚至正在使用云原生工具來收集和聚合數(shù)據(jù)，例如AWS的CloudWatch、Azure的Monitor或GCP的Operations Suite（以前稱為Stackdriver）。如果你的工作流程涉及每次出現(xiàn)問題都要單獨登錄給定云的本機監(jiān)控套件，那將耗費時間并且效果不佳。你還必須掌握多個工具的知識。

如果特定于云的監(jiān)控服務是數(shù)據(jù)的最終目的地和進行分析的地方，那么你也會失去將該數(shù)據(jù)與其他云的數(shù)據(jù)相關聯(lián)的價值。更復雜的是，即使你將數(shù)據(jù)轉(zhuǎn)發(fā)到第三方的可觀察性產(chǎn)品中，它可能仍然無法與其他數(shù)據(jù)有效地關聯(lián)起來。如果你的組織當前的工具要求你在使用數(shù)據(jù)之前花費時間進行標記和索引，那么這就是從更有價值的任務中抽取時間，你的SRE、DevOps工程師或開發(fā)人員不應該浪費的時間。如果只是時間是一個問題，那已經(jīng)夠糟糕的了，但如果你的組織因合規(guī)性或安全相關原因接受審計，你不想在多個工具中搜索答案并在沒有上下文的情況下篩選數(shù)據(jù)。

大多數(shù)供應商都將其產(chǎn)品標榜為“單一視圖”，但這些產(chǎn)品往往在其架構(gòu)中具有固有的信息孤立。你的數(shù)據(jù)可能根據(jù)類型分成不同的數(shù)據(jù)存儲，從而使關聯(lián)過程復雜化。或者你可能會發(fā)現(xiàn)你的“可觀察性”工具實際上只是監(jiān)控工具，你無法使用它們提供的儀表盤來深入挖掘來自不同云服務的數(shù)據(jù)。歸根結(jié)底，如果你在環(huán)境中缺乏可見性，那么收集數(shù)據(jù)就是一個挑戰(zhàn)；如果你有可見性，但數(shù)據(jù)被孤立且缺乏適當?shù)纳舷挛模敲词褂眠@些數(shù)據(jù)就是一個挑戰(zhàn)。一個與云提供商無關的策略將幫助你保持對環(huán)境的可見性。使用開源的數(shù)據(jù)收集工具（如Fluentbit和OpenTelemetry）現(xiàn)在更容易采用與供應商無關的方法，將你需要的數(shù)據(jù)傳輸?shù)侥氵x擇的可觀察性服務中。

從多云可觀測性中獲益

多云數(shù)據(jù)的背景

Observe的方法是可觀察性云，它意味著將所有數(shù)據(jù)放在一個地方，而不是混雜使用不同的后端和數(shù)據(jù)孤島，并且不需要為各種用例支付多個工具的費用。可觀察性云由數(shù)據(jù)湖、數(shù)據(jù)圖和數(shù)據(jù)應用組成。

Observe應用程序捆綁了適用于AWS、GCP和Azure這三個主要云提供商的相關集成。例如，AWS應用程序簡化了從各種AWS服務收集遙測數(shù)據(jù)的過程，并使其更易于發(fā)現(xiàn)。通過這個應用程序，您可以在Observe中輕松監(jiān)視和排查許多您最喜歡的AWS服務，這意味著您在排查問題上花費的時間更少，可以有更多時間為客戶構(gòu)建應用程序和服務。同樣地，我們還有Azure和GCP應用程序，并且這些應用程序所涵蓋的服務范圍不斷擴展。

一旦遙測數(shù)據(jù)開始傳輸，我們將所有數(shù)據(jù)統(tǒng)一存儲在我們的可觀察性云中的數(shù)據(jù)湖中。數(shù)據(jù)被保存在一個地方，并且通過數(shù)據(jù)圖了解和映射上下文。數(shù)據(jù)圖顯示了所有連接的數(shù)據(jù)集，也就是您關心的事物，可以涵蓋從S3存儲桶到運行在EKS上的Kubernetes集群等各種內(nèi)容。在數(shù)據(jù)湖中擁有所有數(shù)據(jù)，并且可以通過數(shù)據(jù)圖進行搜索，使我們能夠提供按需架構(gòu)。當涉及到搜索和過濾大量數(shù)據(jù)時，您的單一操作界面可以在需要時提供您所需的精確視角。

正如我們的一個客戶所說：“這是唯一一個匯總了許多數(shù)據(jù)源日志的地方，所以當我不知道該去哪里查找時，我可以從這里開始。”我們的另一個客戶Linedata也能夠通過在AWS中查看其許多用戶帳戶，消除盲點，從中獲得價值。一旦將更多的云（以及這些云中的更多帳戶）引入到一個環(huán)境中，這種場景中解決的問題可能會顯著增加。如果沒有完整的多云可觀察性，您可能會遇到安全盲點或者在故障排查時遇到死胡同。

多云規(guī)模下的經(jīng)濟效益

隨著越來越多的應用程序及其依賴分布在多個云中，這將導致大量的遙測數(shù)據(jù)。即使您能夠使所有數(shù)據(jù)可觀察，并將所有數(shù)據(jù)關聯(lián)起來以便在危機時易于導航和理解，但規(guī)模和成本仍然是一個問題。通常，傳統(tǒng)解決方案的收費是基于遙測數(shù)據(jù)的攝取和索引量、每個用戶/座位或監(jiān)控的主機數(shù)量（或這些模型的組合）。在這種情況下，無論您從這些數(shù)據(jù)中獲取的價值如何，更多的數(shù)據(jù)都意味著更高的成本。這在多云增長的背景下是一個昂貴的假設。有一些解決方案提供了一些權(quán)宜之計，試圖限制數(shù)據(jù)攝取量并將數(shù)據(jù)存檔以便長期存儲，但這只會給用戶增加更多的復雜性，并使他們更難觀察其應用程序和基礎架構(gòu)，因為用戶可能會丟棄可能相關的數(shù)據(jù)。

Observe采取了一種獨特的方法，并建立在現(xiàn)代的云原生架構(gòu)之上，實現(xiàn)了獨特的基于使用量的定價模型。所有數(shù)據(jù)都被攝取到基于Amazon S3的Data Lake中，進行10倍的壓縮，并存儲13個月。然后，Observe將頻繁訪問的數(shù)據(jù)加速到Data Graph中。通過Observe在Snowflake Data Cloud之上的多租戶實現(xiàn)，可以高效地執(zhí)行加速數(shù)據(jù)或查詢Data Graph的查詢。所有客戶、所有公司的所有查詢都共享同一個Snowflake基礎架構(gòu)。這使我們能夠?qū)⒂嬎愫痛鎯Ψ蛛x，并按照客戶運行查詢和加速數(shù)據(jù)所消耗的計算量進行計費。

Passive和active成本控制的實施緩解了對使用情況或惡意用戶的擔憂。用戶將被提示確認昂貴的查詢，管理員可以設置信用限額以管理使用情況，以符合年度預算。由于Observe的基于使用量的定價系統(tǒng)具有成本控制功能，這意味著客戶可以攝取所需的數(shù)據(jù)，而無需事先擔心是否是“正確的數(shù)據(jù)”，或者擔心僅僅數(shù)據(jù)量就會超出預算。這是在多云環(huán)境中的經(jīng)濟學。

審核編輯 黃宇