當談到物聯(lián)網(wǎng)（IoT），許多開發(fā)者從微控制器、片上系統(tǒng)板、單板計算機、傳感器和各種其他電子元件來思考。而設備無疑是物聯(lián)網(wǎng)的基礎，連接的解決方案的核心價值在于這些設備產(chǎn)生的數(shù)據(jù)。

設備層僅僅是底層數(shù)據(jù)平臺的冰山一角，而底層數(shù)據(jù)平臺則是水面下的重擔。強大的物聯(lián)網(wǎng)數(shù)據(jù)平臺的關鍵支柱之一是Apache Kafka，它是一種開源軟件，旨在處理大量的數(shù)據(jù)攝取。它充當數(shù)據(jù)中心中由Apache storm、Apache spark和Apache hadoop集群提供支持的數(shù)據(jù)處理管道的網(wǎng)關。

如果你是一個將物聯(lián)網(wǎng)作為職業(yè)選擇的開發(fā)者，那么現(xiàn)在是你開始投資Apache kafka的時候了。本文探討了Apache kafka在部署可伸縮物聯(lián)網(wǎng)解決方案中所扮演的角色。

Kafka：傳感器數(shù)據(jù)的高性能攝取層

物聯(lián)網(wǎng)設備包括能夠生成多個數(shù)據(jù)點的各種傳感器，這些數(shù)據(jù)點以高頻率采集。一個簡單的恒溫器每分鐘可以產(chǎn)生幾字節(jié)的數(shù)據(jù)，而一輛連接的汽車或風力渦輪機在幾秒鐘內就可以產(chǎn)生千兆字節(jié)的數(shù)據(jù)。這些海量數(shù)據(jù)集被攝取到數(shù)據(jù)處理管道中，用于存儲、轉換、處理、查詢和分析。

每個數(shù)據(jù)集由多個表示特定度量的數(shù)據(jù)點組成。例如，連接的暖風、通風和空調（HVAC）系統(tǒng)將報告環(huán)境溫度、所需溫度、濕度、空氣質量、鼓風機轉速、負荷和能耗指標。

在一個大型購物中心，這些數(shù)據(jù)點經(jīng)常從數(shù)百個hvac收集。由于這些設備的功能可能不夠強大，無法運行完整的TCP網(wǎng)絡堆棧，因此它們使用諸如Z-Wave和Zigbee之類的協(xié)議將數(shù)據(jù)發(fā)送到能夠聚合數(shù)據(jù)點并將其攝取到系統(tǒng)中的中央網(wǎng)關。

網(wǎng)關將數(shù)據(jù)集推送到Apache-Kafka集群，其中的數(shù)據(jù)采用多條路徑。需要實時監(jiān)控的數(shù)據(jù)點經(jīng)過熱路徑。在我們的HVAC場景中，實時跟蹤溫度、濕度和空氣質量等指標以采取糾正措施非常重要。這些數(shù)據(jù)點可以通過Apache storm和Apache spark集群進行近實時處理。

負載和功耗等指標在一段時間內收集后進行分析。通過批處理過程收集和分析的這些數(shù)據(jù)點通常采用數(shù)據(jù)處理管道的冷通道。MapReduce作業(yè)可以在Hadoop集群中運行，用于分析hvac的能效。

不管數(shù)據(jù)點采用什么路徑，它們都需要被攝取到系統(tǒng)中。apachekafka充當處理大量數(shù)據(jù)集的高性能數(shù)據(jù)攝取層。負責熱路徑和冷路徑分析的數(shù)據(jù)處理管道組件成為apachekafka的訂戶。

Kafka vs.MQTT

apachekafka不是MQTT的替代品，MQTT是一種通常用于機器到機器（M2M）通信的消息代理。卡夫卡的設計目標與MQTT有很大不同。

在物聯(lián)網(wǎng)解決方案中，設備可分為傳感器和執(zhí)行器。傳感器生成數(shù)據(jù)點，而執(zhí)行器是可以通過命令控制的機械部件。例如，房間中的環(huán)境照明可用于調整LED燈泡的亮度。在這種情況下，光傳感器需要與LED通信，這是M2M通信的一個例子。MQTT是為傳感器網(wǎng)絡和M2M優(yōu)化的協(xié)議。

由于Kafka不使用HTTP進行接收，所以它提供了更好的性能和規(guī)模。

由于MQTT是為低功耗設備設計的，它無法處理海量數(shù)據(jù)集的攝取。另一方面，Apache kafka可以處理高速數(shù)據(jù)攝取，但不能處理M2M。

可擴展的物聯(lián)網(wǎng)解決方案使用MQTT作為顯式設備通信，同時依賴Apache Kafka來接收傳感器數(shù)據(jù)。也可以將Kafka和MQTT橋接起來，以便攝取和M2M。但是建議將設備或網(wǎng)關配置為Kafka生產(chǎn)者，同時仍然參與由MQTT代理管理的M2M網(wǎng)絡，從而使它們保持分離。

Kafka與HTTP/REST

apachekafka公開了一個基于二進制協(xié)議的TCP端口。推送數(shù)據(jù)的客戶機啟動套接字連接，然后寫入一系列請求消息并讀回相應的響應消息。此協(xié)議不需要為每個連接或斷開連接進行握手。

由于Kafka不使用HTTP進行接收，所以它提供了更好的性能和規(guī)模。客戶機可以連接到集群的一個實例來接收數(shù)據(jù)。這種體系結構與原始TCP套接字相結合提供了最大的可伸縮性和吞吐量。

雖然使用HTTP代理與Kafka集群通信可能很誘人，但建議解決方案使用本機客戶機。由于Kafka是用Java編寫的，所以本機Java客戶機庫提供了最好的性能。社區(qū)已經(jīng)為Go、Python甚至甚至構建了優(yōu)化的客戶端庫節(jié)點.js. Shopify還為Kafka開發(fā)了一個名為Sarama的開源Go庫。Rackspace的Mailgun團隊已經(jīng)構建了Kafka Pixy，一個Kafka的開源HTTP代理。Python、C#、Ruby和其他語言有多個庫。

大多數(shù)物聯(lián)網(wǎng)網(wǎng)關功能強大，足以運行Java、Go或Python。為了獲得最佳性能和吞吐量，建議使用本機為Kafka設計的客戶端庫。
? ? ? ?責任編輯:pj