當今的IoT用例越來越依賴于對大量設備生成的數據進行分析或實時更新機器學習算法。如果沒有實時獲取、處理和采取行動，以監控患者、自動駕駛汽車或預測性維護應用的數據，則患者會遭受傷害，車輛墜毀或系統出現故障。

那么，企業如何才能經濟高效地構建一個可靠的平臺來大規模接收和響應大量數據?企業可以使用基于開放源代碼軟件堆棧構建的流平臺和數據存儲系統來做到這一點。

事實證明，當今許多開源解決方案在數千個生產部署中都是可靠的。許多產品都可從商業企業獲得企業級支持和咨詢服務，這也可能會提供企業級版本的解決方案。這些受支持的解決方案使企業可以通過實施IoT解決方案來實現其數字化轉型目標，而無需支付大量的前期費用，同時還為其公司提供可靠的、面向未來的基礎設施。

以下是開放源代碼解決方案的樣本，這些解決方案是當今許多最成功的數字化轉型企業的基礎。

1. 流數據

諸如Apache Kafka或Apache Flink之類的開源流解決方案用于構建實時數據管道，以在IoT部署中的系統和應用之間移動數據。例如，在患者監控用例中，流傳輸解決方案會將由連接到患者的IoT傳感器收集的數據傳遞到平臺，在平臺上可以對數據進行匯總、分析和存儲。

Box、LinkedIn、Netflix、Oracle和Twitter使用Kafka。Flink在阿里巴巴、AWS、Capital One、eBay和Lyft的運營中使用。但是，要使流傳輸解決方案大規模支持實時業務流程，必須將其與其他技術集成，包括分布式內存計算平臺、容器管理解決方案以及分析和機器學習功能。

2. 內存計算

Apache Ignite是部署在商品服務器群集上的分布式內存計算平臺。它可用作插入現有應用程序和基于磁盤的數據庫之間的內存數據網格，也可用作新應用程序的獨立內存數據庫。Ignite池化了群集的可用CPU和RAM，并將數據和計算分配到各個節點。它可以部署在本地、公共或私有云中或混合環境中。Ignite支持ANSI-99 SQL和ACID事務。

Ignite可以實時攝取大量數據。在所有數據都保留在內存中的情況下，Ignite使用MapReduce在整個分布式群集上執行大規模并行處理(MPP)。利用內存數據緩存和MPP，與使用基于磁盤的數據庫的應用相比，Ignite在規模上可將應用性能提高多達1000倍。Ignite用戶還可以利用本機Kafka集成來輕松地將流數據從IoT設備提取到內存計算集群中。

正如我在上一篇文章中討論的那樣，Ignite可用于構建數字集成中心(DIH)，以聚合和處理來自多個本地數據存儲，基于云的數據源和流數據源的數據。作為DIH，Ignite提供了一個高性能的數據訪問層，使聚合的數據實時可用于多個業務應用。Apache Ignite已用于美國航空、IBM、ING和24 Hour Fitness的生產中。

3. 集群管理

Kubernetes可以自動執行已在Docker或其他容器解決方案中容器化的應用的部署和管理。容器解決方案創建一個包含應用和虛擬化操作系統的軟件包，以使該應用可以在同一硬件上或跨虛擬化硬件(例如在云服務上)運行多個完全獨立的應用版本。Kubernetes使管理Docker容器變得更容易，并確保跨服務器群集的一致性，該服務器群集可以部署在任何位置，例如本地、公共或私有云或混合環境。

API使Kubernetes能夠管理Apache Ignite和流媒體平臺資源，并自動擴展基于IoT內存計算的群集。更高的管理簡便性可以大大降低復雜性和錯誤并減少開發時間。Kubernetes用于Booking.com、Capital One、Box、IBM和Sling的運營中。

4. 分析和機器學習

流平臺難題的最后一部分是對數據采取行動的能力。對于分析用例，Apache Spark是一個分布式計算引擎，用于處理和分析大量數據。Spark可以利用Apache Ignite內存計算平臺來快速分析通過流傳輸管道提取的大量數據。Spark還可以將Ignite用作在線數據存儲，從而使Spark用戶可以將數據追加到其現有的DataFrame或RDD中并重新運行Spark作業。Spark還使在分布式計算環境中為非結構化數據編寫簡單查詢變得容易。Spark已在Amazon、Credit Karma、eBay、NTT Data和Yahoo!等運營中使用。

對于機器學習用例，Apache Ignite包括集成的、完全分布式的機器學習和深度學習庫，這些庫已針對大規模并行處理進行了優化。這種集成使企業能夠創建連續學習應用，其中機器學習或深度學習算法將針對內存中計算集群每個節點上的內存中數據在本地運行。在本地運行算法可允許在模型上不斷更新模型，因為新數據已部署在節點上，甚至達到了PB級。