描述

在這個項目中，我們將向您展示我們?nèi)绾沃谱饕粋€傳感器，該傳感器可以告訴您酒吧或酒館是否擠滿了人。

介紹

當(dāng)您想去酒吧/酒館但不知道酒吧/酒館是否已滿，是否有派對或空無一人時，您是否曾經(jīng)遇到過這樣的情況，您可以喝一杯聊天? 有了這個應(yīng)用程序，您將來不會遇到任何此類問題。

描述

這個項目包括一個 Arduino Nano 板，它充當(dāng)我們的傳感器或麥克風(fēng)，以及一個移動應(yīng)用程序，它充當(dāng)我們在我們所在地區(qū)尋找酒吧和酒吧的搜索引擎。

Arduino 板上的麥克風(fēng)對酒吧/酒吧的客滿程度進(jìn)行采樣。然后，它使用機(jī)器學(xué)習(xí)算法處理這些信息，以確定酒吧/酒吧是否擠滿了人。然后，信息通過藍(lán)牙低功耗 (BLE) 發(fā)送到連接的手機(jī)，我們可以在其中檢查我們想去的任何酒吧/酒吧的信息。

機(jī)器學(xué)習(xí)

Edge Impulse 是一個免費的機(jī)器學(xué)習(xí)開發(fā)平臺。我們使用共享電子郵件創(chuàng)建了一個帳戶并創(chuàng)建了一個新項目。這很重要，因為將項目公開或與他人共享不會使他們能夠調(diào)整模型或幫助您收集數(shù)據(jù)。

• 數(shù)據(jù)采集

收集數(shù)據(jù)的最佳方式或最簡單的方式是使用我們的手機(jī)（而不是 Arduino 板），因為它設(shè)置起來更簡單，獲取數(shù)據(jù)的速度也更快。通過我們手機(jī)上的錄音機(jī)應(yīng)用程序，我們收集了 3 種不同的數(shù)據(jù)（語音、音樂和靜音）。

我們決定我們每個人都將貢獻(xiàn)至少 20 分鐘的數(shù)據(jù)。我們的樣本持續(xù)時間為 10 秒，這意味著我們每個人至少貢獻(xiàn)了 120 個不同數(shù)據(jù)的樣本。由于大流行，我們無法進(jìn)入酒吧/酒吧，因此我們不得不與家人一起模仿不同的場景。

?

?

?

?

1 / 3 ?靜音樣本

?

當(dāng)我們收集到足夠的數(shù)據(jù)時，我們將其上傳到 Edge Impulse 數(shù)據(jù)采集中。Edge Impulse 自動在訓(xùn)練集和測試集之間分割數(shù)據(jù)。通常，該比率為 80%（訓(xùn)練集）和 20%（測試集），但您可以通過將樣本分配到各自的集合來使用我們自己的比率。

上傳現(xiàn)有數(shù)據(jù)

?

• 沖動設(shè)計

下一步是創(chuàng)造沖動。選擇“創(chuàng)建沖動”后，添加處理塊和學(xué)習(xí)塊，然后保存沖動。對于處理模塊，我們選擇了音頻（MFCC）模塊，它使用梅爾頻率倒譜系數(shù)從音頻信號中提取特征，非常適合識別人聲。對于學(xué)習(xí)模塊，我們選擇了神經(jīng)網(wǎng)絡(luò) (Keras) 模塊，它從數(shù)據(jù)中學(xué)習(xí)模式，并將這些模式應(yīng)用于新數(shù)據(jù)。這個塊非常適合對運動進(jìn)行分類或識別音頻。

創(chuàng)造沖動

?

您可以檢查/更改/保存“MFCC”下的參數(shù)，然后生成特征以查看您收集的數(shù)據(jù)的表示。要訓(xùn)??練您的模型，請選擇“NN 分類器”并單擊“開始訓(xùn)練”。訓(xùn)練完成后，您將獲得上次訓(xùn)練性能的準(zhǔn)確度、混淆矩陣和結(jié)果的 3D 模型。

?

?

?

?

1 / 3 ? 3D 模型

?

在此之后，您可以在“模型測試”選項卡下測試您的模型。如果您想提高模型的準(zhǔn)確性，您可能不得不使用 MFCC 和 NN Classifier 模塊的參數(shù)，但您必須小心，因為精度越高，模型的復(fù)雜性就會越大，有可能，Arduino Nano 將無法運行該模型。

部署

要使用 Arduino Nano 板，您需要創(chuàng)建正確的庫。在“部署”選項卡下，我們選擇了“Arduino 庫”，Edge Impulse 創(chuàng)建了我們自己的庫，該庫是基于我們的項目制作的。您將看到一個包含您的模型的 zip 庫，然后您可以將其編譯到您的 Arduino Nano 上。

現(xiàn)在我們可以檢查模型是否正常工作。在串行監(jiān)視器中，您應(yīng)該會收到 3 種不同的反饋。如果您與某人交談，串行監(jiān)視器應(yīng)打印出 Talk 標(biāo)簽，如果您正在聽音樂，則標(biāo)簽應(yīng)為 Music，如果無聲，則標(biāo)簽應(yīng)為 Silence。

因為我們需要通過 BLE 連接 Arduino，所以我們稍微修改了從 Edge Impulse 導(dǎo)出的代碼。它還會自動連接應(yīng)用程序，而無需從可用藍(lán)牙設(shè)備列表中選擇合適的設(shè)備。

我們修改了代碼，以便 Arduino 可以將正確的標(biāo)簽發(fā)送到應(yīng)用程序。如果 Arduino 閱讀的談話多于音樂和沉默，那么應(yīng)用程序會告訴我們這個酒吧/酒吧里擠滿了人，如果音樂響亮，那么在場人員的交流或沉默應(yīng)用程序會告訴我們酒吧/酒吧是開著的，但那里的人不多，如果沒有音樂也沒有人在說話，應(yīng)用程序應(yīng)該告訴我們酒吧/酒吧里很安靜，這意味著它可能已經(jīng)關(guān)門了。此外，我們修改了我們的代碼，使 Arduino 平均使用最后 5 分鐘（最后 30 個樣本）并每 5 分鐘刷新一次，否則實例會發(fā)生任何劇烈變化。

移動應(yīng)用

我們決定使用的移動應(yīng)用是安卓設(shè)備的 Mit2app 發(fā)明者，因為它在編程界面的意義上是實用的，速度快，并且易于初學(xué)者使用。然而，缺點是圖形用戶界面設(shè)計。編碼的框圖如下圖所示。

?

?

?

?

1 / 3 ?用于主屏幕和斷開連接的塊

?

該應(yīng)用程序易于使用。您只需登錄應(yīng)用程序，然后轉(zhuǎn)到地圖，您（將來，因為這只是一個原型）將在那里看到酒吧的標(biāo)記，并且根據(jù)顏色，您可以決定去哪里。

?

?

?

?

1 / 2 ?地圖屏幕

?

這是一個視頻，向您展示了該應(yīng)用程序的使用及其工作原理。

結(jié)論

該應(yīng)用程序非常適合原型。這個應(yīng)用程序是為一個酒吧/酒吧制作的，看看它是否可以工作，所以有很多改進(jìn)需要做，這將顯著增強(qiáng)用戶體驗，在嘗試將應(yīng)用程序投放市場之前應(yīng)該考慮。

• 改進(jìn)

限制我們的第一件事是，由于大流行，所有的酒吧/酒吧都關(guān)閉了，所以我們無法在真實情況下進(jìn)行測試。進(jìn)行了測試，但只有少數(shù)人集中在一個地方。

此外，您應(yīng)該考慮包括更多的酒吧/酒吧，但問題是要存儲收集到的所有數(shù)據(jù)。為此，您需要更多的 Arduino 或一些麥克風(fēng)，一個供 Arduino 連接的在線服務(wù)器，以及通過服務(wù)從具有不同 ID 的酒吧/酒吧發(fā)送的數(shù)據(jù)將被存儲在哪里。

該應(yīng)用程序本身是功能性的，但可以使其更具吸引力。在將任何產(chǎn)品引入市場之前，應(yīng)考慮切換到本機(jī)代碼，因為它可以在應(yīng)用程序設(shè)計中提供更大的靈活性。