大一點的孩子可能更喜歡說話而不是點擊圖標(biāo)。如何通過語音映射類似的動作？

嬰兒連接

介紹“Baby Connect”，一款在平板電腦上運行的應(yīng)用程序。應(yīng)用程序通過藍(lán)牙連接到 Neosensory Buzz ，并在點擊屏幕上的圖標(biāo)或按住屏幕上的錄制按鈕說出單詞時通過振動發(fā)送觸覺反饋。

在 iPad 上運行的 iOS 應(yīng)用程序

?

該系統(tǒng)配有配備麥克風(fēng)和環(huán)境傳感器的設(shè)備，用于監(jiān)測 IAQ（室內(nèi)空氣質(zhì)量）、溫度、濕度、環(huán)境光。麥克風(fēng)記錄周圍的聲音，并使用機器學(xué)習(xí)算法對其進行分析，以確定嬰兒是否在哭泣。

帶麥克風(fēng)和 BME680 ENV 傳感器的設(shè)備

?

可充電的

Baby Connect 設(shè)備由 1100mAh 鋰電池供電，帶有 TP4046 充電模塊和為 Nano BLE Sense 供電的 5V 升壓器。我已經(jīng)測試了通過 BLE 連接到 App 的設(shè)備，電池持續(xù)了 32 小時，這在我看來非常好。

應(yīng)用程序背后的思考

增強和替代交流 (AAC) 是當(dāng)孩子沒有能力使用語音作為主要交流方式時的一種交流方式。在研究 AAC 時，我意識到同樣的技術(shù)可以應(yīng)用于聽力受損的父母。但后來我開始思考如何將 AAC 動作（圖標(biāo)或圖像）轉(zhuǎn)化為振動。我一直在尋找一個代表不同 AAC 動作的編碼模式。最近我在看一部電影，其中一個人被困在廢棄的地下室?guī)讉€月，試圖通過燈泡使用摩爾斯電碼進行交流。在摩爾斯電碼中，有 DOT 和 DASH。僅使用一個具有不同模式的通道，我們就可以表示所有英語字母表。我決定采用類似的概念來表示 AAC 動作。使用新感覺嗡嗡聲，將動作映射到振動

在結(jié)合了 AAC 和摩爾斯電碼的概念后，我將每個 AAC 動作（例如 Like、Thank You、Hungry 等）映射到帶有 DOT 和 DASH 的視覺模式。與摩爾斯電碼的一個不同之處在于，在摩爾斯電碼中，信號是順序的，例如 DOT DOT DOT (S) 或 DASH DASH DASH (O)，但在這里，由于 Buzz 有 4 個可以獨立振動的電機，因此我們有 4 個通道。所以“LIKE”用DOT、DOT、DASH表示（電機1、2、3同時振動）

?

DOT用低頻50表示，DASH用高頻255表示。所以上面的“LIKE”動作用[50,50,255,0]表示，重復(fù)40次（40幀）

?

同樣，我已經(jīng)將其他幾個 AAC 動作映射到振動，如上圖所示。

訓(xùn)練你的大腦

過去，人們認(rèn)為人的大腦在一定年齡后不會生長或變化，就像靜止的器官，但最近的研究和研究證明，神經(jīng)網(wǎng)絡(luò)會隨著時間的推移而變化，產(chǎn)生新的通路并刪除舊的通路。這被稱為大腦可塑性。研究人員在倫敦市參加出租車駕駛考試前后研究了駕駛員的大腦，并觀察到考試后大腦中出現(xiàn)了新的神經(jīng)通路。

類似地，觸覺反饋可用于使用常規(guī)的視覺或聽覺神經(jīng)通路向大腦發(fā)送一些視覺信號或音頻信號。隨著時間的推移和練習(xí)，大腦會接受觸覺反饋并處理它們，就好像它們是從視網(wǎng)膜或耳朵接收到的一樣，代替失去的感覺。

還證明可以開發(fā)新的感官。例如，我們通常在深度睡眠時除了氣味之外什么都感覺不到，但可以訓(xùn)練我們的大腦即使在睡眠時也能對一些觸覺反饋做出反應(yīng)，從而創(chuàng)造新的感官。在培訓(xùn)頁面上，應(yīng)用程序?qū)⑾蛴脩粽故静煌目ㄆ⒄駝游宋寺暋Ｓ脩舯仨毑鲁稣_的卡片。如果選擇不正確，卡片將以紅色突出顯示。如果選擇正確，卡片將以綠色突出顯示，并顯示下一組卡片。隨著時間的推移，用戶將能夠使用圖標(biāo)映射振動。

嬰兒活動監(jiān)測

Baby Connect 設(shè)備在具有內(nèi)置麥克風(fēng)的 Arduino Nano BLE Sense 微控制器上運行 Edge Impulse 推理。麥克風(fēng)錄制 3 秒音頻樣本并將音頻分類為 4 個標(biāo)簽 - 噪音、饑餓、煩躁和痛苦。

?

我從不同的背景噪音中收集了 5 分鐘的噪音數(shù)據(jù)，例如人們說話、廚房水龍頭、切菜、空調(diào)、風(fēng)扇等。大約 3 分鐘的饑餓、煩躁和疼痛。

對于嬰兒哭泣數(shù)據(jù)集，我使用了https://github.com/gveres/donateacry-corpus存儲庫，它是活動的一部分。我還收集了來自 youtube 的音頻。在分析不同類型的嬰兒哭聲時，我發(fā)現(xiàn)了饑餓與疼痛的模式。當(dāng)寶寶痛苦時，會不停地哭泣，只是為了呼吸而休息。但是當(dāng)他們餓的時候，你會注意到它們之間有一些空隙。但是很難區(qū)分饑餓和挑剔。目前，我的模型能夠以大約 85% 的準(zhǔn)確率對噪音和嬰兒哭聲進行分類，但在區(qū)分饑餓、疼痛和挑剔方面并不是很好。我需要更多數(shù)據(jù)才能使這項工作更好。我將很快開始一項“捐贈”活動，以收集來自世界各地的數(shù)百個數(shù)據(jù)并增強模型。我還將開源 EI 項目，以便其他人可以做出貢獻。

?

?

?

?

當(dāng) BLE sense 檢測到哭聲時，它會通過藍(lán)牙將數(shù)據(jù)發(fā)送到應(yīng)用程序，應(yīng)用程序會振動 Buzz。同時，它會將所有 3 個 LED 變?yōu)榧t色，以防父母錯過振動。LED 指示燈亮起，直到用戶按下蜂鳴器上的“+”或“-”按鈕。

嬰兒環(huán)境監(jiān)測

Nano BLE Sense 連接到 BME680 傳感器，可提供非常精確的溫度、濕度、環(huán)境光和室內(nèi)空氣質(zhì)量 (IAQ) 讀數(shù)。使用時可以按下 Buzz 上的電源鍵，通過震動感受數(shù)據(jù)。傳感器的讀數(shù)映射到 0-255 范圍并發(fā)送到蜂鳴器。

?

對按鈕進行編程

使用最新的 Neosensory 固件，您現(xiàn)在可以對蜂鳴器上的所有 3 個按鈕和 LED 進行編程。高級用戶可以使用 Buzz 按鈕通過摩爾斯電碼進行通信。查看下面的演示。

語音/語音翻譯

對于年齡較大的孩子或高級用戶，點擊圖標(biāo)可能看起來很耗時。相反，用戶可以點擊并按住應(yīng)用程序上的麥克風(fēng)按鈕并說出動作。應(yīng)用程序會將捕獲的語音轉(zhuǎn)錄為文本并將其映射到 AAC 操作。

?

?

使用 AWS 預(yù)測的語音轉(zhuǎn)情感

這是正在進行的工作。我正在與 AWS Amplify 集成以利用 AWS Prediction。

?

?