背景介紹
憑借軟柔性/可拉伸傳感器和商用剛性但小型化的高性能設備組件的共同優勢,柔性混合電子設備可以為健康監測、人機界面和機器人提供完全集成的設備系統。在健康監測中,多模態傳感對于表征生理和心理健康至關重要。鑒于現代社會壓力水平的上升,實時情緒監測對于早期發現和及時干預抑郁、焦慮或恐慌發作等心理問題變得越來越重要。雖然面部表情可以提供一些關于潛在情緒的見解,但僅依賴于面部表情的指標往往會導致不準確的分類和檢測,因為許多人可能由于個體差異和社會因素而無法明顯表達自己的感受。因此,將面部表情分析與其他生理參數相結合,對于全面理解和提高預測精度至關重要。
從皮膚溫度、濕度、心率和SpO2水平的變化中可以獲得對情緒狀態的寶貴見解。例如,當一個人感到驚訝或憤怒時,皮膚溫度會升高,而在快樂、恐懼或悲傷時則會降低。通過主要反映出汗水平,皮膚濕度在出汗引起的恐懼期間會上升。心率通常會隨著快樂、驚訝、恐懼或憤怒等情緒而增加,而悲傷通常會導致心率下降。對于厭惡,溫度、濕度和心率反應可能因所經歷的特定厭惡類型而異。同時,監測SpO2水平是有價值的,因為引發恐慌發作的情緒可能會導致與SpO2水平下降相關的呼吸困難等癥狀。因此,通過將生理信號與面部表情相結合的多維數據,可以更準確地識別情緒。
盡管柔性傳感器已被廣泛報道用于實時跟蹤應變、溫度、濕度、心率和血氧,但在沒有串擾的情況下同時高精度檢測這些信號仍然具有挑戰性。最小化耦合的努力始于直觀的策略。例如,通常用于增強可拉伸性的蛇形等可拉伸結構可以自然地減輕應變效應。將具有正溫度系數和負溫度系數的材料結合起來可以實現溫度不敏感,而透氣或封裝傳感器可以降低對濕度的敏感性。另一方面,基于多孔離子膜的濕度傳感器在一定溫度范圍內表現出離子遷移穩定性,多孔結構在壓力下抵抗顯著變形。因此,它們可以在廣泛的溫度和壓力范圍內保持穩定的性能。盡管取得了這些進步,但現有的研究大多集中在測量兩個輸入信號的單個傳感器上。因此,迫切需要開發能夠有效解耦兩個以上信號的先進傳感器,以精確可靠地感知情緒識別。
本文亮點
1. 本工作介紹了一種完全集成的可拉伸、可充電、多模式混合設備,該設備將解耦的傳感器與靈活的無線供電和傳輸模塊相結合,用于情感識別。
2. 通過優化的結構設計和材料選擇,傳感器可以提供雙軸應變、溫度、濕度、心率和SpO2水平的連續實時解耦監測。通過傳感器和柔性電路的堆疊雙層,可充電系統展示了減少的設備占地面積和提高的舒適度。
3. 神經網絡模型也被證明可以實現高精度的面部表情識別。通過將實時測量數據傳輸到移動設備和云端,該系統可以讓醫療保健專業人員評估心理健康,并在需要時通過遠程醫療提供情感支持。
圖文解析
圖1.(a) 可充電可拉伸混合無線傳感設備系統的分解圖,其中(b)以多層布局排列的內部制造傳感器的布局信息。(c) 集成傳感裝置系統在機械變形(如20%拉伸(左)、150°彎曲(中)和60°扭曲(右))下的有限元分析(FEA,上圖)和照片(下圖)之間的比較。(d) 顯示設備組件和數據流的示意圖。(e) 多模態生理傳感裝置系統與神經網絡分析相結合在情緒監測和分析中的應用。
圖2.(a) X軸應變傳感器的歸一化相對變化,作為(i)X軸拉伸應變、(ii)溫度和(iii)濕度的函數。(b) Y軸應變傳感器的歸一化相對變化,作為(i)Y軸拉伸應變、(ii)溫度和(iii)濕度的函數。(c) 溫度傳感器的歸一化相對變化,作為(i)溫度、(ii)濕度和(iii)應變的函數。(d) 濕度傳感器的歸一化相對變化,作為(i)濕度、(ii)溫度和(iii)應變的函數。
圖3. (a) (i)光學圖像,(ii)示意圖,以及(iii)傳感器的橫截面SEM圖像。(b) (c)(i)在水蒸氣密度為0.7626kg/m3的環境中傳感器的濕度分布和(ii)碳納米管的SEM和孔隙率分析圖像。(d) 傳感器蛇形電極中的應變分布(i)在20%X軸拉伸下沒有PET應變隔離,(ii)在等效拉伸應力下有PET應變隔離;以及(iii)蛇形電極的SEM圖像(沒有PET引起的裂紋)。(e) 應變傳感器在沿(i)X和(ii)Y方向拉伸時的應變分布,其中(iii)SEM圖像顯示了裂紋模式隨拉伸應變的演變:5%(左)、40%(中)和80%(右)。
圖4. (a) 用于訓練和分類不同面部表情的機器學習算法的示意流程圖。(b) (i)損失和(ii)訓練(藍色)和驗證(紅色)集在訓練過程的100次迭代/迭代中的準確率。(c) 100次迭代后情緒識別的混淆矩陣。(d) 六種面部表情沿(i)X和(ii)Y方向的代表性應變測量值,標記為1至6表示快樂、驚訝、恐懼、悲傷、憤怒和厭惡,以及相應的(e)K-means聚類圖。(i)溫度和(ii)濕度傳感器在(f)靜止/運動狀態和(g)不同情緒下的響應變化。
圖5. (a) 連接到不同身體部位的集成混合動力裝置系統的照片。(b) 在休息和間歇性屏氣狀態下從不同身體部位獲得的SpO2數據。(ii)在休息/運動狀態下從面部獲得的心率變化,以及(iii)在不同情緒狀態下的心率變化。(c) (i)網絡和(ii)基于移動的云監控界面。
審核編輯 黃宇
-
傳感器
+關注
關注
2562文章
52544瀏覽量
763606 -
神經網絡
+關注
關注
42文章
4807瀏覽量
102750
發布評論請先 登錄
賓夕法尼亞大學:開發出揭示亞原子信號的新型量子傳感技術

由3D石墨烯泡沫集成水凝膠實現的固有可拉伸運動傳感器

研究用于獨立檢測壓力和溫度的3D主動矩陣多模態傳感器陣列

廈門大學科研新伙伴,南京大展的DZ-TGA105熱重分析儀

兆元光電與廈門大學攜手,Mini/Micro LED技術將迎新突破

兆易創新協辦海峽兩岸暨港澳大學生職業技能(能力)大賽順利舉辦
【廈門同昌源】受邀參加中國-新加坡健康電子先進材料雙邊論壇(S3AM-2024)

賓夕法尼亞州立大學帕克分校:研發AI輔助下的石墨烯基化學傳感器

活動邀請 | Keysight是德科技攜手同昌源組織廈門大學專場產品展示體驗交流會

評論