ADI 公司構建了一個系統 OtoSense，該系統能夠從機器學習聲音和振動，并破譯其含義以檢測異常行為并執行診斷。該系統是一個機器健康監測系統，可以實現我們所說的“計算機聽力”，它允許計算機理解機器行為的主要指標：聲音和振動。

該系統適用于任何機器，無需網絡連接即可實時工作。該系統適用于工業應用，可實現可擴展、高效的機器健康監測。

人類聽覺系統和 OtoSense 的翻譯

人類理解聲音的過程可以用四個熟悉的步驟來描述：聲音的模擬采集、數字轉換、特征提取和解釋。在這些步驟中，可以將人耳聽力與 OtoSense 系統進行比較。

模擬采集和數字化： 在 OtoSense 中，模擬采集和數字化由傳感器、放大器和編解碼器執行。數字化過程使用可在 250 Hz 和 196 kHz 之間調整的固定采樣率，波形以 16 位編碼并存儲在 128 個樣本到 4096 個樣本的緩沖區中。

特征提取： OtoSense 使用我們稱為塊的時間窗口，它以固定的步長移動。這個塊的大小和步長可以從 23 毫秒到 3 秒不等，具體取決于需要識別的事件和采樣率，并在邊緣提取特征。稍后我們將提供有關 OtoSense 提取的特征的更多信息。

解釋發生在關聯皮層中： OtoSense 與人的交互從基于人類神經學的視覺、無監督聲音映射開始。它顯示了所有聽到的聲音或振動的圖形表示，按相似性組織，但不試圖創建嚴格的類別。這允許專家組織和命名屏幕上看到的分組，而無需嘗試人為地創建有界類別。他們可以構建與他們對 OtoSense 最終輸出的知識、感知和期望相一致的語義圖。

從聲音和振動到功能

特征被分配一個單獨的數字來描述一段時間內的聲音或振動的給定屬性或質量（如我們前面提到的時間窗口或塊）。OtoSense 平臺選擇功能的原則如下：

特征應 盡可能完整地描述環境，并在頻域和時域中提供盡可能多的細節。他們必須描述靜止的嗡嗡聲以及咔噠聲、嘎嘎聲、吱吱聲和任何類型的瞬態不穩定性。

特征應盡可能正交地構成一個集合。如果一個特征被定義為“塊上的平均振幅”，則不應該有另一個特征與其強相關，就像“塊上的總光譜能量”這樣的特征。當然，永遠不會達到正交性，但任何特征都不應該表示為其他特征的組合——每個特征中都必須包含一些奇異的信息。

特征 應該 最小化 計算。大多數 OtoSense 功能都設計為增量式，因此每個新樣本都可以通過簡單的操作修改功能，而無需在完整緩沖區或更糟糕的塊上重新計算它。最小化計算也意味著不關心標準物理單位。例如，嘗試用 dBA 值表示強度是沒有意義的。如果需要輸出一個dBA值，可以在輸出的時候做，如果需要的話。

OtoSense 平臺的 2 到 1024 功能的一部分描述了時域。它們要么直接從波形中提取，要么從塊上任何其他特征的演變中提取。其中一些特征包括平均和最大振幅、從波形的線性長度導出的復雜性、振幅變化、脈沖的存在和表征、作為第一個和最后一個緩沖區之間相似性的穩定性、避免卷積的窄自相關或變化主要光譜峰。

頻域上使用的特征是從 FFT 中提取的。FFT 在每個緩沖區上計算并產生 128 到 2048 個單獨的頻率貢獻。然后，該過程會創建一個具有所需維數的向量——當然，遠小于 FFT 大小，但這仍然廣泛地描述了環境。OtoSense 最初從一種不可知的方法開始，用于在對數譜上創建相等大小的存儲桶。然后，根據環境和要識別的事件，這些桶適應于關注信息密度高的頻譜區域，無論是從最大化熵的無監督角度，還是從使用標記事件作為一個半監督的角度。指導。這模仿了我們內耳細胞的結構，在語音信息最大的地方更密集。

架構：向邊緣供電和本地數據

使用 OtoSense 的異常值檢測和事件識別發生在邊緣，無需任何遠程資產的參與。這種架構確保系統不會受到網絡故障的影響，并且避免了將所有原始數據塊發送出去進行分析。運行 OtoSense 的邊緣設備是一個獨立的系統，它實時描述它正在收聽的機器的行為。

運行 AI 和 HMI 的 OtoSense 服務器通常托管在本地。云架構對于聚合多個有意義的數據流作為 OtoSense 設備的輸出是有意義的。將云托管用于專門處理大量數據并與單個站點上的數百個設備交互的 AI 就沒有意義了。

圖 1. OtoSense 系統。

從特征到異常檢測

正常/異常評估不需要與專家進行太多互動即可開始。專家只需要幫助建立機器正常聲音和振動的基線。然后，此基線在被推送到設備之前在 OtoSense 服務器上轉換為異常值模型。

兩種不同的策略用于評估傳入聲音或振動的正常性：

第一個策略是我們所說的常態，即任何進入特征空間的新傳入聲音都會檢查其周圍環境、它與基線點和集群的距離以及這些集群的大小。距離越大，簇越小，新聲音越不尋常，離群值越高。當這個異常值高于專家定義的閾值時，相應的塊被標記為異常并發送到服務器以供專家使用。

第二種策略非常簡單：任何具有高于或低于定義基線的所有特征的最大值或最小值的特征值的傳入塊都被標記為極端并發送到服務器。

異常和極端策略的結合提供了對異常聲音或振動的良好覆蓋，并且這些策略在檢測漸進磨損和意外的殘酷事件方面表現良好。

從特征到事件識別

特征屬于物理領域，意義屬于人類認知。要將特征與意義聯系起來，需要 OtoSense AI 和人類專家之間的交互。我們花費了大量時間聽取客戶的反饋來開發人機界面 （HMI），使工程師能夠有效地與 OtoSense 交互以設計事件識別模型。該 HMI 允許探索數據、對其進行標記、創建異常模型和聲音識別模型以及測試這些模型。

OtoSense Sound Platter（也稱為 splatter）允許通過對數據集的完整概覽來探索和標記聲音。Splatter 在完整的數據集中選擇最有趣和最有代表性的聲音，并將它們顯示為混合標記和未標記聲音的 2D 相似度圖。

圖 2. OtoSense Sound Platter 中聲音的 2D 飛濺圖。

任何聲音或振動，連同其上下文，都可以通過許多不同的方式進行可視化——例如，使用聲音小部件（也稱為小部件）。

圖 3. OtoSense 聲音小部件（小部件）。

在任何時候，都可以創建異常值模型或事件識別模型。事件識別模型以圓形混淆矩陣的形式呈現，允許 OtoSense 用戶探索混淆事件。

圖 4.可以根據所需事件創建事件識別模型。

可以通過一個界面來探索和標記異常值，該界面會隨著時間的推移顯示所有不尋常和極端的聲音。

圖 5. OtoSense 異常值可視化中隨時間推移的聲音分析。

持續學習過程，從異常檢測到日益復雜的診斷

OtoSense 旨在向多位專家學習，并允許隨著時間的推移進行越來越復雜的診斷。通常的過程是 OtoSense 和專家之間的循環循環：

異常值模型和事件識別模型在邊緣運行。這些為潛在事件發生的概率以及它們的異常值創建了輸出。

超過定義閾值的異常聲音或振動會觸發異常通知。然后，使用 OtoSense 的技術人員和工程師可以檢查聲音及其上下文。

然后，這些專家將這一不尋常的事件標記為。

計算包含此新信息的新識別模型和異常值模型并將其推送到邊緣設備。

結論

ADI 公司的 OtoSense 技術的目標是持續提供聲音和振動專業知識。該技術在航空航天、汽車和工業監控應用中用于機器健康監測，在曾經需要人類專業知識的情況下以及在涉及嵌入式應用的情況下（尤其是在復雜機器上）顯示出性能。

審核編輯：郭婷