當談到物聯(lián)網(wǎng)（IoT），許多開發(fā)者從微控制器、片上系統(tǒng)板、單板計算機、傳感器和各種其他電子元件來思考。而設(shè)備無疑是物聯(lián)網(wǎng)的基礎(chǔ)，連接的解決方案的核心價值在于這些設(shè)備產(chǎn)生的數(shù)據(jù)。

設(shè)備層僅僅是底層數(shù)據(jù)平臺的冰山一角，而底層數(shù)據(jù)平臺則是水面下的重擔。強大的物聯(lián)網(wǎng)數(shù)據(jù)平臺的關(guān)鍵支柱之一是Apache Kafka，它是一種開源軟件，旨在處理大量的數(shù)據(jù)攝取。它充當數(shù)據(jù)中心中由Apache storm、Apache spark和Apache hadoop集群提供支持的數(shù)據(jù)處理管道的網(wǎng)關(guān)。

如果你是一個將物聯(lián)網(wǎng)作為職業(yè)選擇的開發(fā)者，那么現(xiàn)在是你開始投資Apache kafka的時候了。本文探討了Apache kafka在部署可伸縮物聯(lián)網(wǎng)解決方案中所扮演的角色。

Kafka：傳感器數(shù)據(jù)的高性能攝取層

物聯(lián)網(wǎng)設(shè)備包括能夠生成多個數(shù)據(jù)點的各種傳感器，這些數(shù)據(jù)點以高頻率采集。一個簡單的恒溫器每分鐘可以產(chǎn)生幾字節(jié)的數(shù)據(jù)，而一輛連接的汽車或風力渦輪機在幾秒鐘內(nèi)就可以產(chǎn)生千兆字節(jié)的數(shù)據(jù)。這些海量數(shù)據(jù)集被攝取到數(shù)據(jù)處理管道中，用于存儲、轉(zhuǎn)換、處理、查詢和分析。

每個數(shù)據(jù)集由多個表示特定度量的數(shù)據(jù)點組成。例如，連接的暖風、通風和空調(diào)（HVAC）系統(tǒng)將報告環(huán)境溫度、所需溫度、濕度、空氣質(zhì)量、鼓風機轉(zhuǎn)速、負荷和能耗指標。

在一個大型購物中心，這些數(shù)據(jù)點經(jīng)常從數(shù)百個hvac收集。由于這些設(shè)備的功能可能不夠強大，無法運行完整的TCP網(wǎng)絡(luò)堆棧，因此它們使用諸如Z-Wave和Zigbee之類的協(xié)議將數(shù)據(jù)發(fā)送到能夠聚合數(shù)據(jù)點并將其攝取到系統(tǒng)中的中央網(wǎng)關(guān)。

網(wǎng)關(guān)將數(shù)據(jù)集推送到Apache-Kafka集群，其中的數(shù)據(jù)采用多條路徑。需要實時監(jiān)控的數(shù)據(jù)點經(jīng)過熱路徑。在我們的HVAC場景中，實時跟蹤溫度、濕度和空氣質(zhì)量等指標以采取糾正措施非常重要。這些數(shù)據(jù)點可以通過Apache storm和Apache spark集群進行近實時處理。

負載和功耗等指標在一段時間內(nèi)收集后進行分析。通過批處理過程收集和分析的這些數(shù)據(jù)點通常采用數(shù)據(jù)處理管道的冷通道。MapReduce作業(yè)可以在Hadoop集群中運行，用于分析hvac的能效。

不管數(shù)據(jù)點采用什么路徑，它們都需要被攝取到系統(tǒng)中。apachekafka充當處理大量數(shù)據(jù)集的高性能數(shù)據(jù)攝取層。負責熱路徑和冷路徑分析的數(shù)據(jù)處理管道組件成為apachekafka的訂戶。

Kafka vs.MQTT

apachekafka不是MQTT的替代品，MQTT是一種通常用于機器到機器（M2M）通信的消息代理?？ǚ蚩ǖ脑O(shè)計目標與MQTT有很大不同。

在物聯(lián)網(wǎng)解決方案中，設(shè)備可分為傳感器和執(zhí)行器。傳感器生成數(shù)據(jù)點，而執(zhí)行器是可以通過命令控制的機械部件。例如，房間中的環(huán)境照明可用于調(diào)整LED燈泡的亮度。在這種情況下，光傳感器需要與LED通信，這是M2M通信的一個例子。MQTT是為傳感器網(wǎng)絡(luò)和M2M優(yōu)化的協(xié)議。

由于Kafka不使用HTTP進行接收，所以它提供了更好的性能和規(guī)模。

由于MQTT是為低功耗設(shè)備設(shè)計的，它無法處理海量數(shù)據(jù)集的攝取。另一方面，Apache kafka可以處理高速數(shù)據(jù)攝取，但不能處理M2M。

可擴展的物聯(lián)網(wǎng)解決方案使用MQTT作為顯式設(shè)備通信，同時依賴Apache Kafka來接收傳感器數(shù)據(jù)。也可以將Kafka和MQTT橋接起來，以便攝取和M2M。但是建議將設(shè)備或網(wǎng)關(guān)配置為Kafka生產(chǎn)者，同時仍然參與由MQTT代理管理的M2M網(wǎng)絡(luò)，從而使它們保持分離。

Kafka與HTTP/REST

apachekafka公開了一個基于二進制協(xié)議的TCP端口。推送數(shù)據(jù)的客戶機啟動套接字連接，然后寫入一系列請求消息并讀回相應(yīng)的響應(yīng)消息。此協(xié)議不需要為每個連接或斷開連接進行握手。

由于Kafka不使用HTTP進行接收，所以它提供了更好的性能和規(guī)模?？蛻魴C可以連接到集群的一個實例來接收數(shù)據(jù)。這種體系結(jié)構(gòu)與原始TCP套接字相結(jié)合提供了最大的可伸縮性和吞吐量。

雖然使用HTTP代理與Kafka集群通信可能很誘人，但建議解決方案使用本機客戶機。由于Kafka是用Java編寫的，所以本機Java客戶機庫提供了最好的性能。社區(qū)已經(jīng)為Go、Python甚至甚至構(gòu)建了優(yōu)化的客戶端庫節(jié)點.js. Shopify還為Kafka開發(fā)了一個名為Sarama的開源Go庫。Rackspace的Mailgun團隊已經(jīng)構(gòu)建了Kafka Pixy，一個Kafka的開源HTTP代理。Python、C#、Ruby和其他語言有多個庫。

大多數(shù)物聯(lián)網(wǎng)網(wǎng)關(guān)功能強大，足以運行Java、Go或Python。為了獲得最佳性能和吞吐量，建議使用本機為Kafka設(shè)計的客戶端庫。

Kafka入門

apache kafka是用Java開發(fā)的，它的部署由apache zookeeper管理。任何能夠運行JVM的操作系統(tǒng)都可以用來部署Kafka集群。為了測試水，你可以在Docker運行卡夫卡。

如果您不想處理基礎(chǔ)設(shè)施，可以從云中的托管Kafka服務(wù)開始。IBM Bluemix有一個基于Kafka的完全管理的基于云的消息服務(wù)MessageHub。Cloud Karafka是公共云中的另一個流式平臺，專為Apache Kafka工作負載而設(shè)計。 Aiven.io提供hosted Kafka以及InfloxDB、Grafana和Elasticsearch。如果你是一個Salesforce.com網(wǎng)站或者Heroku開發(fā)者，你可以在Heroku上利用Kafka。

Apache卡夫卡是許多大數(shù)據(jù)部署的基礎(chǔ)。在本系列的后續(xù)文章中，我將介紹Kafka的關(guān)鍵概念、體系結(jié)構(gòu)和術(shù)語。
? ? ? ?責任編輯:pj