本文的主要內容：

邊緣計算為實時數據分析和建模提供了新的機會。

但是，物聯網邊緣數據模型需要較少的整體方法來進行數據湖和建模。

數據分析師需要新的技能，以便能夠在邊緣和云中正確分類/提取和管理這些數據。

企業渴望使用物聯網數據來了解成本、運營及其未來前景。

移動設備和物聯網設備（IoT）生成的數據使組織能夠降低成本，提高運營效率并進行創新。但是，只有組織可以在適當的時候從數據中獲取意義。

反過來，為數據提供含義和背景將使數據分析人員負責構建可以傳遞有意義的數據模型。此外，這些數據量很大，并且來自許多不同的位置，而且速度極快。

除了諸如數據湖之類的整體數據存儲之外，數據分析師還應設計邊緣數據存儲，以提高速度和實時洞察力，從而為每個業務部門和目的解決眾多問題。

Zhamak Dehghani在一篇關于從集中式數據湖中獲取實時數據的文章中寫道：“不是將數據從域流到中央擁有的數據湖或平臺，而是需要以一種易于使用的方式托管和服務其域數據集。”

在邊緣上尤其如此，即使設備數量激增，計算處理資源也可能非常寶貴。通過邊緣計算，數據算法可以在本地服務器或網關上甚至在設備本身上運行，從而實現對企業至關重要的更高效的實時應用。

機器學習平臺Splunk的創新和數字生態系統高級主管Lerry Wilson說：“邊緣將計算能力放在行動發生的地方。”

國際數據公司（IDC）的一項新預測估計，到2025年，將有416億個IoT設備或“物”產生79.4 ZB的數據。這些數據還需要從無數的設備和業務部門獲取，通常是孤立的和格式不同，這會增加額外的復雜性。

Wilson說：“這些組織內部的復雜性已經超出了僅保持這些設備正常運行的能力。” “您必須能夠看到設備如何與設備交互。 “從安全的角度來看，這絕對至關重要，但從運營和業務角度來看也是如此。”

數據量和速度

從業人員強調，要有效地將邊緣計算用于快速數據處理，就需要采用不同的方法來進行數據建模和提取。數據分析人員需要考慮如何使用數據以及可以容許多少延遲以及其安全性和存儲要求。

這將需要一種混合的方式來處理數據，并需要新的邊緣數據模型來支持速度，而不是總體的整體數據模型。

Peak Technologies的首席工程師Dan Sullivan說：“從數十萬個傳感器中獲取原始數據，然后在其中進行最少的處理，然后將其余數據發送到一個集中的位置-這種方法將變得越來越流行。”

因此，例如，如果物聯網數據可用于檢測關鍵業務異常，則可能需要立即處理該數據。但是，隨著時間的推移，環境數據可能并不重要，可以發送到云或本地數據中心進行進一步處理。

同時，盡管決策者希望這些數據隨時可用，但快速的數據準備和清理可能會妨礙快速的數據處理。

實際上，根據TMMData和Digital Analytics Association（數字分析協會）進行的一項調查，近40％的數據專業人員每周花費20多個小時來訪問、混合和準備數據，而不是進行實際分析。

物聯網數據仍然需要進行這種準備，但分析人士表示，現在最好嘗試先創建較少的整體模型，而這些模型需要大量的邏輯數據連接。目標是快速攝取數據，然后以目標方式查詢數據。

“除了找出一個復雜的解決方案，我們還有兩個簡單的解決方案-而不是一個整體解決方案。當問題完全不同時，您不會嘗試使用一種數據模型來回答所有問題。由于數據太多，您希望快速定位數據的子集。”

Sullivan指出，某些數據也可能會發送到云中以進行機器學習和算法訓練。這些數據可能不需要這么低的延遲或快速的周轉時間。

“從機器學習的角度來看，原始數據很重要，” Sullivan說。 “它沒有像異常檢測數據那樣的延遲要求。您可以分類這些數據以進行機器學習，然后將其緩慢加載到云對象存儲中。”

這種新的數據建模方法呼應了有關IoT數據管理的論文，聲稱IoT數據模型需要更靈活以適應實時數據管理和大量數據。

“盡管已經證明并行關系［數據庫管理系統（DBMS）］優于非結構化DBMS范式，但從關系模型轉向支持更靈活的數據庫結構的數據庫模型正變得越來越受歡迎。”

物聯網數據管理技能仍然是一個障礙

專家們同意，關于數據去向以及如何最大程度地利用數據的這類決策需要獨特的技能。

Rashi Deshai在一篇有關數據科學家的最高技能的文章中寫道：“數據科學家是……全才型的大師。” “他們必須了解數學、統計學、編程、數據管理（和）可視化……80％的工作用于準備數據以在行業環境中進行處理。”隨著數據量持續爆炸，數據管理已成為數據科學家的一項技能。

但是，組織內部可能缺少這些技能。他們要么需要通過額外的教育和培訓來培養這些技能，要么應征募第三方合作伙伴關系。

Sullivan說：“這種舉動將伴隨著人們。” “只有很少的人了解如何大規模處理數據。在本地進行此操作很昂貴，但需要大量的工程經驗。需要能夠編寫數據工程管道的人員來從中提取價值。”

正如另一個數據管理所指出的那樣，這需要萬事通技能集。

數據反映了IT數據管理中長期存在的技能短缺。

根據IoT World Today的2020年8月IoT采用調查，缺乏內部技能會阻礙IoT項目：27％的受訪者表示，他們缺乏專業知識正在阻礙IoT部署。

Splunk的Wilson表示，運營部門和信息技術部門之間的孤島也是一個障礙，但是OT開始在邊緣看到自動化和機器學習的優點。

Wilson說：“人們開始為實時機器學習部署工具和過程。” “他們正在擁抱這個概念，以及為實現這一目標而開展的工作。”
責任編輯：tzh