我國有超1700萬視障人士，如何讓他們更安全、自主地出行？別擔心，智能瞳行來啦！這是一款“自帶外掛”的導航神器，集成了高精度視覺傳感和YOLO算法，實時識別障礙物、行人、交通標志，并通過語音播報精準指路，讓視障朋友走哪都心里有數。
智能瞳行不僅讓視障人士自由穿梭于大街小巷，還讓他們更好地感受世界的變化和精彩——昆明理工大學津橋學院：智能瞳行團隊
一、核心功能：

• YOLO識別：像開了透視一樣，精準捕捉周圍環境信息。
• 語音導航：貼心播報，讓障礙物無所遁形，走路更安心。
• 智能反饋：個性化指引，輕松適應各種場景，出行更自信！

二、特色與創新：
2.1.1 技術優勢
a、YOLOv8：YOLOv8 作為最新一代目標檢測算法，在實時性、準確性和模型輕量化方面均表現出色。相比前代模型，YOLOv8 在保持高檢測精度的同時，顯著提升了推理速度，適用于智能瞳行設備等對實時性要求較高的應用場景。此外，其優化后的模型結構使其更輕量化，更適合嵌入式設備和移動端部署。同時，YOLOv8 支持端到端訓練和部署，降低了開發和應用成本，并具備較強的靈活性和可擴展性，可根據不同應用需求進行優化。
b、YOLOv8 與其他 YOLO 模型對比：相較于 YOLOv5、YOLOv6 和 YOLOv7，YOLOv8 在相近的參數量下提供了更高的吞吐量和檢測性能，在目標檢測、實例分割和圖像分類等任務上均表現更優。Ultralytics 在 YOLOv8 的設計中進一步優化了模型結構，使其在精度、速度和計算效率之間達到了更優的平衡，為智能瞳行設備提供了更可靠的視覺感知能力。
c、ROS2：ROS2 作為 ROS 的新一代架構，針對通信機制、同步策略、工具鏈及安全性等方面進行了全面優化。相較于 ROS1，ROS2 采用了去中心化的 DDS（Data Distribution Service）通信機制，提高了數據傳輸的實時性和可擴展性，能夠更好地適應復雜的機器人系統需求。同時，ROS2 引入了更靈活的節點管理方式、改進的同步執行模型，并支持多種編程語言，提升了開發效率。此外，ROS2 進一步優化了性能，降低了系統延遲，提高了吞吐能力，并增強了安全特性，使其在高可靠性應用場景中更加適用。
綜合而言，智能瞳行設備結合 YOLOv8 先進的目標檢測能力與 ROS2 高效穩定的通信架構，實現了高精度、低延遲的數據處理與環境感知，為智能化應用提供了堅實的技術基礎。
2.1.2輕量小巧
智能瞳行團隊通過市場調研，發現目前市場上有一類科技助盲的機械犬，但是體型較為龐大，外出攜帶極其不方便。
智能瞳行設備，采用3D打印技術，外殼進行輕量化設計，整體重量僅為1.7KG，佩戴更為方便，小巧，便于攜帶。

2.2創新點
在YOLOv8原模型上，團隊技術成員還引入了神經網絡算法- EfficientNetV2，通過引入漸進式學習策略、自適反正則強度調整，提升YOLOv8的檢測效果。通過引入NA5技術去搜索MBConv和Fused-MBConv的最佳組合大幅提高了訓練速度，減小模型大小。提高了YOLOv8的檢測效率。
（1）首先是一個 1×1 卷積用于升維，其輸出 channel 是輸入 channel 的 n 倍。
（2）緊接著通過一個 DW 卷積。
（3）然后通過一個 SE 模塊，使用注意力機制調整特征矩陣。
（4）之后再通過 1×1 卷積進行降維。注意這里只有 BN，沒有 swish 激活函數（其實就是對應線性激活函數）。
（5）最后跟一個dropout層
三、硬件和軟件
3.1硬件介紹
A基于YOLO模型的智能瞳行設備設計使用了 地瓜機器人RDK X3機器人開發者套件（下文統稱RDK X3），搭載了旭日3智能計算芯片，具有5TOPs端側推理算力，兼容樹莓派4B、CM4接口，方便開發者快速集成。結合地瓜機器人的高性能AI工具鏈與機器人開發平臺，助力智能瞳行設備快速落地解決方案。

B、M260C環形六麥語音模塊
M260C 環形麥克風陣列由 6 個麥克風環形排列組成，遠場拾音實驗室環境 下可達 10m，喚醒角度的分辨率為 1°，可進行 360°全方位聲源定位。
智能瞳行設備采用該語音模塊，實現人機交互，通過特定的語音指令，喚醒語音助手，通過特定語音，操作智能瞳行設備完成相應操作。


C、N10P激光雷達
N10 Plus系列激光雷達采用 TOF(time of flight)方案，能夠對周圍360°環境進行二維掃描探測。該系列激光雷達內部使用無線供電和光通訊，測量重頻為5.4KHz。采用 TOF(time of flight)測距原理，通過測量調制激光的發射、返回時間差來測量物體與傳感器的相對距離。激光發射器發出調制脈沖激光，內部定時器開始從t1時刻計算時間，當激光照射到目標物體后，部分能量返回，當雷達接收到返回的激光信號時，在t2時刻停止內部定時器計時，光速C，激光雷達到達物體的距離D為：D=C*(t2-t1)/2
經過N10 Plus系列激光雷達內嵌的信號處理單元的實時解算得到探測物體的距離值，結合高精度自適應角度測量模塊輸出的角度信息，可以得到量程內周圍 360°環境的二維平面信息。


D. Gemini-Datasheet深度相機
智能瞳行設備采用激光N10P雷達和深度相機，通過激光雷達建立二維障礙物模型，深度相機建立三維空間模型，兩個技術相結合，構建一個實時的周圍環境模型。

e. N100N慣導模塊
N100N慣導模塊是具有一個強大的 Sigma-Point 卡爾曼濾波器 (SPKF)，以及一套高性能算法，高達 1000Hz 的傳感器采樣頻率和圓錐和劃船運動補償，有較強的抗磁干擾能力。內部算法提供高精度的位置，速度和姿態估計連同在10hz和200hz之間的補償慣性測量，可方便的接入外部視覺、雷達等速度、位置、航向輔助設備進行組合導航。
智能瞳行運用此慣導模塊，判斷視障人士行走路線以及行走方位是否發生偏移，以及結合北斗定位模塊，實現導航。


f. G60 GPS北斗雙定位模塊
G60 模塊是基于 ATGM336H-5N 的高性能 BDS/GNSS 定位導航模塊。模塊支持多種衛星導航系統，包括中國的北斗二號和北斗三號全部衛星，美國的 GPS，俄羅斯的 GLONASS，日本的 QZSS，可以同時接收以上衛星導航系統的衛星信號，支持 A-GNSS 輔助定位，并且實現聯合定位、導航與授時，模塊具有高靈敏度、低功耗、低成本等優勢，適用于車載導航、手持定位、可穿戴設備。
智能瞳行設備應用北斗高精度定位，精準定位視障人士的位置，以及對接收到的指令進行定位導航
3.2軟件介紹
基于YOLO模型的智能瞳行設備設計一個實時檢測系統，YOLO系列作為非常重要且具有影響力的目標檢測算法常常被使用。YOLO v8作為YOLO系列的最新版本，相比過去有了很多明顯的研究進展。YOLO v8在精度方面進行了進一步的提升。它采用了更深、更復雜的網絡結構，可以更好地捕捉目標的細節和特征。此外，還引入了一些新的技術和算法，例如更強大的骨干網絡和更有效的多尺度特征融合方法，從而進一步提高了目標檢測的精度。YOLO v8不僅在提高精度方面有了很大的進展，還依然保持了YOLO系列一貫的特點，即快速的檢測速度。仍然通過單次前向傳播的方式進行目標檢測，避免了復雜的區域生成和候選框篩選過程。YOLO v8相比于過去YOLO系列具有更高的檢測精度、更快的檢測速度、更好的適應性和通用性，以及更強大的預測能力。這些優勢和特點使得YOLO v8成為目標檢測領域的一種重要算法，并在各種實際應用場景中發揮著重要作用。同時，使用pycharm為系統提供了軟件支持，同時python3.11和python-opencv的開放碼源和可拓展的特性大大提高了本系統的開發的可操作性，是該系統的開咋在軟件方面具有可能性。
3.3系統實現原理
a.數據采集：通過深度相機的攝像頭實時捕獲前方環境的視頻流數據。
b.圖像預處理階段：收集到的原始視頻流數據經過灰度處理、幀讀取等一系列預處理操作，輸入至YOLO模型。
c.實時目標檢測：YOLO模型基于訓練好的權重參數，在單個圖像幀中一次性預測出所有類別的物體邊界框和相應的置信度得分。
d.slam建圖與深度相機3D建圖：通過激光雷達與深度相機結合的視覺模型實時構建3D立體圖，完成路徑規劃和障礙物規劃避障。
e.目標識別分類：模型輸出的邊界框和置信度得分經過后處理步驟，篩選出置信度閾值以上的障礙物、行人、交通標志等目標，并對其進行精確分類。
f.播報信息生成：根據激光雷達和深度相機計算視障人士和障礙物之間的距離，并生成播報信息。
g.反饋：將識別出的環境信息轉化為易于理解的聲音指令，通過語音播報模塊反饋給視障人士。
h.人機交互：視障人士可以通過語音喚醒智能語音助手，讓其播報周圍有什么，以及導航到想要去的目的地。
i.用戶響應：用戶根據接收到的反饋調整自己的行走路徑或動作，智能瞳行設備系統根據用戶行為和環境變化動態更新檢測結果和導航建議。
j.通過連貫的操作流程，基于YOLO模型的設計能夠實時幫助視障人士了解周圍環境情況，從而實現安全、自主的移動。



第四章 系統實現
4.1 感知層技術

• M260C環形六麥語音模塊：六麥克風環形陣列，10m遠場拾音，360°聲源定位。通過固定波束拾取特定方向的聲音，用于語音交互，轉換指令數據至控制層。
• N10P激光雷達：基于TOF測距原理，360°環境掃描，實時輸出障礙物信息至控制層。
• Gemini深度相機：采用3D結構光技術，獲取深度與彩色圖像，結合YOLOv8模型進行目標識別，并與激光雷達數據融合，提供障礙物方位及距離信息。
• N100N慣導模塊：具備高精度慣性測量，結合北斗定位，判斷行走路徑與方位偏移，輔助導航。
• G60 GPS北斗雙定位模塊：支持多星座聯合定位，精準獲取用戶位置，實現高精度導航。

4.2 傳輸層技術

• USB：主數據傳輸方式，連接各感知模塊，將語音、雷達、視頻流等數據傳輸至控制層。
• TTL：用于激光雷達與語音模塊數據傳輸，經串口轉換為USB信號。
• WiFi：設備與PC端共享局域網，便于遠程調試。
• 北斗CDMA：實現多用戶在同一頻段通信，獲取位置信息并傳輸至控制層。
• DDS（數據分發服務）：基于ROS2的通信協議，支持分布式數據傳輸，提高數據實時性與靈活性。

4.3 控制層技術
智能瞳行設備以地瓜機器人RDK X3機器人開發者套件作為整個系統架構的主控制層之一，具有5TOPs端側推理算力，在此基礎上安裝了Ubuntu20.04系統，同時搭配了ROS2-humble版本，感知層負責接受各種來源的數據。而傳輸層通過ttl，USB傳輸給控制層，控制層通過內置程序、算法，計算出周圍環境情況，規劃處一條安全、可靠的路徑，分析出播報內容，例如正前方道路平坦，可以直行的播報內容，通過傳輸層，傳輸給另一控制層- M260C環形六麥語音播報模塊播報出相應語音指令，指引視障人士安全出行，讓視障人士擁有第六感。
4.4軟件開發技術
ROS2-humble版本的應用, ROS1的通信機制基于TCPROS實現，這意味著所有節點（即機器人系統中的各個組件）之間的通信都需要經過一個中心節點——Ros Master。一旦Ros Master出現故障，整個系統的通信都會受到影響。相比之下，ROS2的通信機制則采用了更為先進的DDS（Data Distribution Service）技術。DDS是一種發布/訂閱模型的消息傳遞中間件，它支持節點之間的去中心化通信，有效提高了系統的可靠性和穩定性。智能瞳行設備的感知層中語音模塊接收的語音指令，激光雷達距離、角度等數據、深度相機視頻流數據利用 DDS 發布對應節點，然后通過程序獲取節點中的有用數據，并傳輸給控制層程序處理，確保了數據的高效流轉和系統的穩定運行。
Python 語言語法簡潔，易于學習和理解，適用于快速開發原型和數據處理任務，如圖為處理激光雷達數據的部分代碼。

智能瞳行設備各模塊底層驅動都由C和C++來完成，如圖為激光雷達底層驅動部分代碼。

Pycharm 是一款優秀的 Python 開發集成環境（IDE），提供了代碼編輯、調試、項目管理等一系列功能，大大提高了開發效率，智能瞳行設備程序通過該軟件進行的代碼編寫、調試。
4.5數據挖掘和可視化應用
數據讀取：
1.初始化 DDS 環境：創建參與者（Participant），建立與 DDS 域的連接。
2.查找主題：使用主題名稱來查找感興趣的數據主題。
3.創建訂閱者（Subscriber）：用于接收數據。
4.創建數據讀取器（DataReader）：與找到的主題關聯，準備讀取數據。
5.處理接收到的數據：通過回調函數或主動讀取的方式獲取數據，并進行相應的處理。
6.設備通過接收節點數據，通過程序處理，激光雷達為例，如圖，通過訂閱激光雷達腹部的話題lslidar_driver_node，以及其中的節點/sacn,就能夠讀取其中的數據，對數據進行處理，就能獲取到距離，以及角度信息。
Python中Matplotlib的使用：
通過獲取節點中的數據，通過numpy庫對數據進行相應處理，轉換為可視化圖形數據，通過內置函數進行動畫處理，實現實時的動畫數據。
以獲取激光雷達數據為例，通過獲取節點中激光雷達數據的處理，將數據處理為圖形數據，實時的顯示在圖形頁面上，方便對數據進行處理與判斷。
Rviz2是ROS2中常用的可視化工具，通過訂閱各模塊發布的節點數據來實現圖形可視化，為開發者提供了直觀的方式來理解和調試系統。智能瞳行設備通過Rviz2 可訂閱這些節點，將激光雷達數據以點云的形式展示，攝像頭數據以圖像的形式呈現，北斗、GPS數據則以地圖上的位置標記顯示。