實(shí)時數(shù)據(jù)無處不在，由嵌入多種技術(shù)的傳感器生成，包括自動駕駛汽車、制造設(shè)備和醫(yī)療設(shè)備。但“實(shí)時”對于工程決策的真正意義是什么，更重要的是，如何使用實(shí)時數(shù)據(jù)？

許多工程師可能認(rèn)為這些數(shù)據(jù)的主要用途是預(yù)測性維護(hù)，監(jiān)控產(chǎn)生所述數(shù)據(jù)的設(shè)備的長期生存能力。雖然這肯定是此類數(shù)據(jù)的一種潛在用途，但它不是主要用途。實(shí)時數(shù)據(jù)最好由機(jī)器學(xué)習(xí)模型處理，該模型能夠在收到數(shù)據(jù)后盡快分析該數(shù)據(jù)。然后，這些數(shù)據(jù)用于生成快速或“實(shí)時”發(fā)送到數(shù)據(jù)庫、儀表板或設(shè)備的見解。

然而，工程師面臨的一個共同挑戰(zhàn)是處理實(shí)時數(shù)據(jù)，因?yàn)樵夹问降臄?shù)據(jù)過于混亂，無法進(jìn)行有效分析。使用機(jī)器學(xué)習(xí)模型來處理這些數(shù)據(jù)是有幫助的，但更重要的是，工程師必須在將實(shí)時數(shù)據(jù)放入這些模型之前有效地準(zhǔn)備好實(shí)時數(shù)據(jù)。

考慮汽車發(fā)動機(jī)的溫度計。從理論上講，從儀表收集的數(shù)據(jù)每秒捕獲一個溫度。但是發(fā)動機(jī)的溫度是由多個傳感器測量的，每個傳感器的測量速率略有不同——稱為采樣率或時間步長——必須將其同步到單個數(shù)據(jù)集中，然后才能通過模型進(jìn)行分析。那么，工程師應(yīng)該從哪里開始使用實(shí)時數(shù)據(jù)呢？

嘗試同步數(shù)據(jù)

在宏觀層面上，同步數(shù)據(jù)的目標(biāo)與同步手表的目標(biāo)相同——將一個不同的時間與另一個時間對齊，以便它們一起流動。在微觀層面上，目標(biāo)是將多個不同的數(shù)據(jù)點(diǎn)——本質(zhì)上是由幾個不同步的手表測量的秒數(shù)——實(shí)時組合到一個數(shù)據(jù)集中。然而，每個數(shù)據(jù)點(diǎn)都非常小，而且它們之間的差距如此細(xì)小，以至于將它們同步在一起需要仔細(xì)準(zhǔn)備。

同步實(shí)時數(shù)據(jù)的第一步是對齊。它可以幫助工程師從一個期望的目標(biāo)開始——一個特定的時間步長或采樣率，例如每小時或每 10 秒。但是，實(shí)時數(shù)據(jù)模型通常設(shè)計為一次僅處理 1 秒的數(shù)據(jù)。因此，同步原始設(shè)備數(shù)據(jù)需要創(chuàng)建一個運(yùn)行在 0 到 1 秒之間的時間向量，時間步長為 0.001 秒，然后“重新采樣”數(shù)據(jù)以匹配新時間。

考慮到這一點(diǎn)，下一步是數(shù)據(jù)同步藝術(shù)的真正所在，因?yàn)楣こ處煴仨殯Q定如何填充時間不匹配的數(shù)據(jù)點(diǎn)。這通常通過重新采樣原始數(shù)據(jù)來完成。幾種常見的重采樣方法包括最近鄰、聚合和插值，最佳選擇取決于初始時間向量對齊和應(yīng)用要求。

當(dāng)工程師不確定數(shù)據(jù)集之間的時間對齊時，一種常見的解決方案是用恒定值或缺失數(shù)據(jù)填補(bǔ)空白。這在涉及許多傳感器時尤其有用，因?yàn)樘剿骱涂梢暬傻臄?shù)據(jù)可以幫助確定如何繼續(xù)分析其余數(shù)據(jù)。如果時間緊密對齊，則可以使用任何提到的重采樣方法。如果時間沒有緊密對齊，工程師應(yīng)該聚合或插入數(shù)據(jù)。

想象一下將每小時數(shù)據(jù)轉(zhuǎn)換為每日數(shù)據(jù)。如何在單個數(shù)據(jù)點(diǎn)中表示 24 小時內(nèi)的所有數(shù)據(jù)？在這種情況下，一個合適的例子是數(shù)據(jù)聚合，比如每日平均值。對于非數(shù)字?jǐn)?shù)據(jù)，模式、計數(shù)或最近鄰方法更常見。

在處理實(shí)時傳感器數(shù)據(jù)時，尤其是在時間稍微不對齊的情況下，許多工程師使用插值，因?yàn)樗兄谔峁?shù)據(jù)趨勢的知識，因?yàn)橐畛涞臅r間空間更少。如果在處理實(shí)時傳感器數(shù)據(jù)時點(diǎn)距離較遠(yuǎn)，則多項(xiàng)式或樣條插值法是一種更準(zhǔn)確的方法。

下面是使用溫度、壓力和電流傳感器預(yù)測設(shè)備故障的示例。

圖 1：流式工作流示意圖

在此示例中，消息服務(wù)處理原始傳感器數(shù)據(jù)，然后將其應(yīng)用于模型，該模型用于實(shí)時生成預(yù)測。一旦生成預(yù)測，模型就會更新并應(yīng)用于下一組實(shí)時傳感器數(shù)據(jù)。這些結(jié)果會不斷地、重復(fù)地實(shí)時發(fā)送到儀表板。

實(shí)時數(shù)據(jù)和普通數(shù)據(jù)的區(qū)別

準(zhǔn)備實(shí)時數(shù)據(jù)的過程可能聽起來很有挑戰(zhàn)性。然而，對于工程師來說，內(nèi)置到大多數(shù)數(shù)據(jù)科學(xué)平臺的 API 和模塊中已經(jīng)足夠普遍了。由于與數(shù)據(jù)科學(xué)平臺的共同集成，在遵循此過程時，在使用實(shí)時傳感器數(shù)據(jù)構(gòu)建模型之前，通常需要考慮最少的額外數(shù)據(jù)準(zhǔn)備注意事項(xiàng)。

一個這樣的考慮應(yīng)該是規(guī)劃一個系統(tǒng)，這意味著在構(gòu)建任何東西之前捕獲所有需求并建立參數(shù)。此外，在流程早期構(gòu)建完整的流式原型也很有幫助，因?yàn)樗试S工程師在分析實(shí)時數(shù)據(jù)的同時返回調(diào)整算法。時間窗口可能是另一個值得考慮的好參數(shù)，因?yàn)樗鼈兺ǔ？刂朴卸嗌贁?shù)據(jù)進(jìn)入系統(tǒng)。

在構(gòu)建模型時，工程師通常會對數(shù)據(jù)集進(jìn)行平滑和下采樣。對于實(shí)時數(shù)據(jù)，添加了頻域，在模型分析數(shù)據(jù)之前創(chuàng)建了一個要考慮的新參數(shù)。一旦原始數(shù)據(jù)被組織成具有匹配時間的單個數(shù)據(jù)集，額外的分析就更容易執(zhí)行。

總體而言，隨著自動駕駛汽車和醫(yī)療設(shè)備以及制造設(shè)備和其他設(shè)備繼續(xù)嵌入各種傳感器，實(shí)時數(shù)據(jù)將變得更加普遍。隨著工程師希望繼續(xù)提供有價值的基于數(shù)據(jù)的系統(tǒng)洞察力，有效地導(dǎo)航傳感器數(shù)據(jù)的“實(shí)時”方面將非常重要。

審核編輯：郭婷