想象有個超智能的 “貼心小管家”，專為老年人和需要監護的人群服務，這就是超酷的 “聲動護理” 智慧護理系統！

它基于 RDK X3 開發，像個聰明的小腦袋，用物聯網技術把所有功能串起來。通過神奇的 Avahi 技術，能讓本地設備和機器人 “勾肩搭背”，一起干活；ros1 bridge 技術則像翻譯官，讓不同版本的 ROS 系統順利交流，實現語音控制機器人動起來。還用騰訊云搭了個 “云端小基地”，Vue3 設計的前端頁面，讓本地和云端隨時 “嘮嗑”，為以后更多指令控制打好基礎。

這個系統技能點滿格！急救報警、跌倒報警、智能呼叫、自動取藥取餐、實時監控、手動控制機器人…… 樣樣精通。——濟往開來團隊

一、特色與創新

相比市面上的智慧醫療和家居產品，我們的 “聲動護理” 智慧護理系統有這些超亮眼的特色創新：

精準服務特殊群體：專為老年人設計，用物聯網技術打造超方便的交互方式。不用復雜操作，揮揮手做個 “V 字手勢” 就能召喚取藥、點餐服務，對帕金森等行動不便的老人超友好，讓服務又貼心又好上手。

智能警報快人一步：老人不小心跌倒，系統秒變 “安全衛士”！立刻拉響警報，云平臺同步彈出警示，通知家屬和附近鄰居。不用怕老人說不清狀況，及時救援有保障。

全能服務一站配齊：不止能實時監控、語音聊天，還把智能報警、手勢控制、環境監測全打包！語音指令一說，系統立刻回應，還能陪空巢老人嘮嗑。攝像頭畫面、環境數據全上傳云端，家屬打開網頁就能隨時 “云守護”。緊急時刻云端直接報警，遠程遙控機器人也不在話下，真正實現萬物互聯！

二、功能設計

2.1 設計環境

作品主要基于 RDK X3 處理器、開發板及語音轉換模塊進行設計。RDK X3 開發板是一款高性能人工智能計算開發板，搭載高性能 AI 處理器，采用先進的異構計算架構，能在低功耗下高效完成 AI 推理任務。


開發板配備豐富外設與通信接口，方便連接外部設備和云服務；支持 TensorFlow、PyTorch 等多種開發框架，便于快速部署 AI 模型。


軟件環境方面：

1. Node.js：基于 Chrome V8 引擎，采用事件驅動、非阻塞 I/O 模型，適合搭建高并發網絡應用，支持 WebSocket 協議實現實時雙向通信。
2. Vue3：漸進式 JavaScript 前端框架，通過虛擬 DOM、組件化等技術，高效構建交互式界面，組件可復用，代碼易維護。

2.2 設計內容

我們利用 RDK X3 開發平臺及模塊，設計方案、編寫程序和網頁，打造出專為老年人的智慧監控系統。系統基于物聯網技術，用 Node.js 搭建服務器，Vue3 設計前端，核心功能如下：

1. 急救報警：老人跌倒時，攝像頭通過人體姿態檢測自動報警，向家屬和醫護人員發送求助信號，提升緊急情況下的安全性。
2. 手勢求助：系統識別攝像頭捕捉的指定手勢，老人揮揮手就能 “呼叫取藥、點餐或醫生”，系統語音回應，操作超方便。
3. 語音交互：老人問 “今天天氣如何” 等問題，系統實時識別并語音回復，像個貼心小助手。
4. 實時監控：網頁實時顯示攝像頭畫面，醫護人員和家屬能遠程查看病房，接收報警信號。老人還能用手勢、姿態發送請求，實現遠程智能管控 。

這套系統整合物聯網、前端設計和服務器技術，既提升生活品質 —— 實時監測老人健康，讓家屬隨時掌握情況；也優化醫療場景 —— 自動傳輸患者數據，減輕醫護負擔，讓服務更高效精準。

三、系統實現

3.1 設計方案

我們基于RDK X3開發平臺，融合物聯網技術，打造出專為老年人服務的智能監控系統，實現自動取藥、取餐、緊急呼叫、跌倒報警等功能。


1. MIPI攝像頭模塊

采用OV5647攝像頭，500萬像素，支持1080p高清拍攝，自帶自動曝光、白平衡調節，通過I2C接口傳輸數據。

• 手勢識別：用深度學習模型（hand_gesture_detection-develop），分四步工作：攝像頭抓拍→圖像預處理→CNN提取手勢特征→模型識別“V字（取藥）、手掌（取餐）、OK（呼叫醫生）”手勢，最后網頁和語音同步反饋。
• 跌倒檢測：基于hobot_falldown_detection模型，攝像頭拍視頻→預處理→CNN定位人體→分析姿態判斷是否跌倒，一旦確認，網頁彈窗、語音報警。

2. 音頻轉接板模塊

使用微雪電子Audio Driver HAT REV2轉接板，支持4麥克風錄音、雙聲道播放。

• 語音識別：HBAudioCapture類負責采集音頻→智能算法識別→發布語音消息，涵蓋初始化、數據捕獲、處理全流程。
• 語音合成：HobotTTSNode類接收文本指令→轉換為PCM音頻→驅動設備播放，訂閱“/tts_text”話題即可觸發。

3. 設備通信模塊

• 上下位機：樹莓派（上位機）通過USB串口給小車STM32控制器發指令，控制運動。
• 機器人與本地端：樹莓派+小車組成機器人，與RDK X3用avahi服務共享ROS節點，實現遠程控制。
• 本地端通信：RDK X3用ros1_bridge連接ROS1和ROS2，讓語音指令能操控機器人。
• 云端交互：本地端與騰訊云服務器用WebSocket雙向通信，實時上傳溫濕度、手勢數據，云端渲染網頁。

4. 網頁展示模塊

在騰訊云搭建網頁（http://101.32.194.5:8080/），核心功能：

• 中間顯示攝像頭實時畫面，用transfer.py程序轉發圖像數據；
• 右側記錄語音對話日志；
• 下方分區展示溫濕度、手勢指令、跌倒報警，數據由RDK X3實時傳輸。

5. 溫濕度傳感器模塊
DHT11傳感器集成溫濕度檢測，單總線協議傳輸40位數據，Hobot.GPIO庫解析后校驗、保存，再通過WebSocket發往云端。


6. 語音交互模塊
AudioSmartToTTS節點訂閱“/audio_smart”接收語音數據→提取命令詞→WebSocket問服務器要回復→發布“/tts_text”實現語音輸出，搭配音頻轉接板提升識別和播放效果。

7. 機器人控制模塊

• 語音控制：麥克風收音→語音算法處理→發布“/audio_smart”消息→hobot_audio_node.py轉發指令→controller.py控制小車移動。
• App控制：手機App用平移、旋轉、縮放手勢操作視圖，通過ROS和avahi技術自動連接設備，語音或觸屏操控機器人。

8. 手勢與跌倒功能強化

• 手勢識別：檢測到特定手勢后，音頻播報確認、網頁顯示詳情、機器人執行任務，代碼分初始化、數據處理、狀態重置三步。
• 跌倒檢測：檢測到跌倒時，語音報警、網頁彈窗，設5秒定時器防誤報，狀態消失后自動重置。

3.2 設計展望

未來計劃升級系統：

1. 健康監測：增加心率、血壓傳感器，實時預警健康風險；
2. 智能咨詢：語音對話獲取醫療建議，加強醫患溝通；
3. 遠程醫療：視頻連線實現遠程問診；
4. 環境智控：自動調節燈光、溫度；
5. 人體跟蹤：搭載跟蹤小車，消除監控盲區。通過這些優化，讓系統更智能、更貼心。

四、開源