對象存儲非常適合長期備份和歸檔，如何將高性能對象存儲擴展到大規模、高容量的工作負載，人們對此需要進行了解。

對象存儲最有趣的方面之一是其用途的多樣性。盡管對象存儲通常用作歸檔存儲區、原有數據的目的地，以及文件服務器的替代品，但實際上有許多方法可以應用對象存儲。隨著供應商開始提供性能優化的對象存儲，該技術已經為用于一組全新的工作負載準備就緒。

高性能對象存儲不僅僅需要從基于硬盤的對象存儲系統切換到全閃存對象存儲。向全閃存介質的遷移無疑會有所幫助，但是對象存儲系統(很大程度上要歸功于其豐富的元數據)通常具有太多延遲，無法有效利用閃存性能。

創建高性能對象存儲系統的另一個挑戰是基礎設施的橫向擴展特性。為了滿足容量需求，對象存儲將大量節點添加到存儲集群中。每個節點的容量都被吸收到集群中，從而創建一個存儲池。在大型橫向擴展集群中，具有數十個節點都是比較常見的。聚合和管理這些節點的等待時間可能很長。

人工智能和深度學習的對象存儲挑戰

非結構化的大型數據工作負載(例如人工智能和機器學習以及深度學習)是對象存儲架構如何成為高性能工作負載的一個很好的例子。理論上，這些工作負載對于對象存儲而言應該是理想的。它們擁有數百萬甚至數十億個文件，而存儲所有這些數據需要大量的SSD硬盤或HDD硬盤，因此需要許多節點。這些過程也是受吞吐量驅動的。

所有這些因素的結合使人工智能和深度學習針對對象存儲的高節點數存儲集群量身定制。大多數與人工智能通信的框架(例如TensorFlow)用于驅動人工智能和機器學習工作負載，它們都使用Amazon S3協議。大多數對象存儲系統也是基于S3存儲桶，并且S3存儲桶本身是高度并行的。從理論上講，對象存儲基礎設施應該能夠滿足人工智能和機器或深度學習工作負載的需求。

但是，此方法不僅僅需要創建一個全閃存對象存儲系統。該系統必須能夠解決這樣一個問題，即可能會有數十個(即使不是數百個)節點，而元數據以及集群管理也帶來了挑戰。

應對元數據挑戰

元數據是關于數據的數據，它對高性能對象存儲帶來了挑戰，其原因有兩個：第一個挑戰是，對象存儲系統需要更多時間來管理其豐富的元數據。由于大多數對象存儲供應商會在集群中指定一定數量的節點來管理和存儲元數據，因此管理更加復雜。在人工智能和深度學習等工作負載中，專用的元數據控制器通常不堪重負，并成為系統瓶頸。因此，閃存驅動器甚至硬盤無法充分發揮其潛力。

第二個挑戰是集群通信。大多數橫向擴展NAS或塊存儲系統的節點數都比較少。在網絡附屬存儲(NAS)和塊用例中，擁有六個節點的存儲集群被認為是大型的存儲系統，但在許多對象存儲部署中，六個節點只是一個入門級別。而節點間的通信成為一個大問題，尤其是在不涉及性能的歸檔的用例中。

要創建高性能的大規模對象存儲解決方案，需要解決元數據性能和集群管理問題。下一代對象存儲將元數據分布在集群中的每個節點上，而不僅僅是幾個控制器。元數據的分布可確保每個節點都具有響應I/O請求所需的所有信息。

其他高性能對象存儲問題

對象存儲系統還必須解決節點間聯網的問題。元數據的分布在這里有所幫助，因為它減少了東西流向的流量。供應商必須優化其節點間網絡，因此它不會成為性能瓶頸。它們極有可能必須優化網絡通信，以最大程度地減少傳輸頻率。

需要優化的另一個領域是協議仿真。例如，大多數對象存儲系統都支持網絡文件系統(NFS)。網絡文件系統(NFS)的支持至關重要，因為許多物聯網設備不是內部部署S3存儲桶，而是使用網絡文件系統(NFS)。其挑戰在于，許多對象存儲系統都使用一個單獨的組件在網絡文件系統(NFS)和S3存儲桶之間進行轉換，而不是在其軟件中內部部署運行網絡文件系統(NFS)。其轉移的開銷很大，并且在高性能情況下會顯示出來。

網絡文件系統(NFS)在對象存儲代碼中的原生集成可實現更高的性能，并同時訪問相同的數據。并發訪問意味著物聯網設備可以通過網絡文件系統(NFS)將數據發送到對象存儲卷，同時人工智能或深度學習框架可以通過S3存儲桶對象對其進行處理，而無需對其進行復制或移動。

NAS適用的位置

網絡附屬存儲(NAS)系統仍在數據中心中發揮作用。對象存儲是長期歸檔和備份的理想選擇，雖然大容量網絡附屬存儲(NAS)仍可以在備份存儲市場上競爭。對象存儲還適合作為文件服務器的替代品，以替代性能不太重要的工作負載(例如用戶主目錄)。

高性能對象存儲非常適合需要數十或數百個節點以及數十PB容量的大規模工作負載。這些工作負載還取決于吞吐量，并且在I/O訪問中高度并行。在這兩個極端之間是高性能、非結構化的數據工作負載，這些工作負載本質上是隨機I/O，節點數量很少。在這些用例中，網絡附屬存儲(NAS)可能仍然是一個更好的選擇。

版權聲明：本文為企業網D1Net編譯，轉載需注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。