隨著原本不相關的技術以令人興奮的新方式融合在一起，數字融合正在我們身邊發生。iPhone 就是一個完美的例子，它將手機與電腦、攝像頭和傳感器相結合，提供出色的體驗。

融合在嵌入式領域并不新鮮。嵌入式設備傳統上受到更嚴格的內存和處理限制，并采用融合作為充分利用許多技術領域的一種方式。因此，由于我們正處于不同規模技術融合的開端，看似不同的技術有望聯合起來顛覆現有行業并帶來令人信服的新機遇，嵌入式領域也將受益。一種新的融合是使用具有內存加速處理的 k-NN 最近鄰 (k-NN)，為數十億規模的 Elasticsearch 操作提供近乎實時的響應。

Elasticsearch 是一個搜索引擎，它接受 JSON 請求進行文檔搜索并將 JSON 數據作為結果提供。Elasticsearch 數據格式是一種以 JSON 編碼的結構化數據的文檔。Elasticsearch 最初是一個文本搜索引擎，但該數據庫可以涵蓋任何類型的數據，每個文檔都有唯一的 ID 和數據類型。

因為該結構是“無模式的”，它允許將文檔定義為用戶需要的任何內容。Elasticsearch 數據庫中的文檔示例包括：

用于識別消費者搜索請求的圖片。

用于識別網絡入侵、異常或負載不平衡的網絡數據日志。

用于識別客戶購買模式和改進庫存管理的產品收據。

用于自動共享和復制的網絡架構。

用于查找特定文學實例的文本文檔。

用于計算機輔助翻譯的具有一對多映射的文本文檔。

Elasticsearch 被設計為分布式的。它在基礎架構方面具有可擴展性，并且可以靈活地用于本地服務器、遠程服務器或基于云的操作。由于其開放和寧靜的 API 結構，可擴展的搜索引擎可以毫不費力地與插件一起使用。一個這樣的插件來自 GSI Technology，它提供了許多好處，包括硬件加速的 k-NN、使用向量進行多模態搜索以及合并分數結果。

Elasticsearch 依靠其分布式計算支持來實現可擴展性，其驚人的速度在百萬級數據庫搜索中達到秒級。由于其分布式特性和分片支持，Elasticsearch 允許復制數據、并行化搜索并為更大的數據庫加快搜索速度。來自 HTTP 命令發布的分布式功能還允許由嵌入式設備完成不同分辨率的多次搜索——一次在本地資源上，一次發送到上游資源。

Core Elasticsearch 使用計算量很大的窮舉匹配（全部匹配），這會減慢它的速度，或者在支持大規模數據庫搜索的重復硬件中變得非常昂貴。一種可用于增加數據庫大小的技術是 k-NN 搜索。它的工作原理是首先尋找常見分組中的相似性，然后在這些一個或多個分組中進行最終搜索。這種技術還允許在邊緣規模的服務器上完成大型數據庫搜索，而不是在基于云的計算場上進行對延遲非常敏感的應用程序。

具有計算挑戰性的方法

雖然 k-NN 為 Elasticsearch 提供了一種方法來支持非常大的數據庫，例如具有十億級及以上條目的數據庫，但它的計算量很大。因此，由于在 GPU 或 CPU 內核之間移動數據庫的限制，k-NN 一直是加速的挑戰。

工作負載加速的最大限制之一是處理器和內存之間所需的數據交換的限制。現代處理器中使用的馮諾依曼架構的一個主要缺點是處理器和存儲之間的數據傳輸開銷。CPU 必須出去為它所做的每一個操作獲取數據。

這種架構在卸載加速環境中效率更低。這種系統的性能受到請求操作的主機以及執行操作的計算引擎通過內存交換數據的速度的限制。

正在研究減少來自內存的數據流的架構，以幫助緩解馮諾依曼瓶頸。然而，在處理內存密集型人工智能應用程序時，瓶頸尤其嚴重。人工智能相關應用的運行依賴于內存中海量數據的快速高效移動。訓練有素的數據庫需要加載到工作內存和矢量化輸入查詢中。接下來，需要對它們進行處理和加載，以便比較函數進行操作。

一種已經在市場上產生影響的成熟技術是關聯處理單元 (APU)。內存加速的美妙之處在于存儲本身變成了處理器。這不是一個帶有高速緩存的大量處理核心陣列，而是一個具有內置在讀取線架構中的計算單元的內存陣列。

因此，APU 通過具有能夠加速計算的內存陣列而與眾不同。這種類型的“加速”處理器已被證明可以將性能提高幾個數量級，同時降低標準服務器的工作負載功耗。

Elasticsearch、k-NN 和 APU 加速的融合提供了更少的延遲和更多的每秒查詢。與傳統的僅 CPU 或 GPU 加速系統相比，它還可以以更低的功耗為數十億規模的數據庫搜索提供支持。在嵌入式領域，Elasticsearch 可以提供一種在邊緣設備上進行本地搜索的方法，同時發送 HTTP 請求以在網絡上進行更深入的搜索。可以將不同的結果拼接在一起以獲得越來越清晰的答案，或者只能合并新的例外情況。

極端邊緣設備可以應用其 CPU 資源在本地相關數據庫中進行搜索以提高速度。然后使用 APU 密度乘數允許 Elasticsearch 網絡請求在邊緣服務器或聚合器上高效運行，而不是發送到云端。考慮可以做出自主決策但仍能從上游更深入的搜索中獲得備份驗證或路線修正的機器人。考慮基于規則集和當地條件立即做出決策的自動車輛，同時通過高速公路標志網關發送信息并獲取上游道路信息和駕駛指令返回。

展望未來，很高興看到這種融合將帶來哪些新機遇。

審核編輯 黃昊宇