一、核心內容概述

1.1 項目背景與目標

隨著城市電動車保有量突破3.5億輛，違規停放問題已成為影響交通秩序和公共安全的重要挑戰。傳統固定監控覆蓋范圍有限，無人機應用受城市環境制約，智能停車樁部署成本高昂，亟需一種高效、低功耗的智能化解決方案——恐眼照你團隊

本系統基于RDK X3開發板與TogetheROS.Bot平臺，構建了一套集環境感知、智能識別、自動導航于一體的電動車違停檢測系統，旨在實現：

固定區域內的自主巡邏與導航

電動車違停行為的實時檢測與判斷

違規車輛的車牌識別與信息記錄

人機交互語音提示功能

1.2 系統工作流程

環境建圖與導航：通過N10激光雷達獲取點云數據，利用Gmapping算法完成區域地圖構建，基于Nav2框架實現A*算法路徑規劃。

目標檢測與語義分割：使用YOLOv5算法識別電動車及障礙物，結合Mobilenet-UNet語義分割模型區分停車區域與禁停區域。

違停判斷邏輯：通過檢測框底部線段與停車線的相交關系，計算區域內占比判斷違停狀態，支持消防通道等禁停區域檢測。

數據交互與記錄：通過Socket通信將違規車輛圖像傳輸至PC端，利用HyperLPR3實現車牌識別并記錄至Excel。

二、創新點解析

2.1 邊緣計算部署創新

低功耗高性能架構：基于旭日X3開發板（5T運算量，低功耗）部署多模型，突破傳統CPU+GPU架構功耗瓶頸，為邊緣設備違停檢測提供新思路。

多模型協同優化：在單一開發板上集成YOLOv5目標檢測、Mobilenet-UNet語義分割，通過模型輕量化處理實現實時推理（檢測幀率≥15FPS）。

2.2 算法與系統設計創新

動態區域檢測策略：根據小車巡邏路徑（默認左側行駛）優化檢測區間，聚焦圖像右側目標，減少干擾并提升檢測效率。

違停判斷算法創新：針對機器人低視角特性，提出基于檢測框底部線段的相交比計算方法，相比傳統交并比算法更適應實際場景。

全流程自動化方案：從環境建圖、目標檢測到車牌識別形成閉環，減少人工干預，系統誤檢率＜5%，漏檢率＜3%。

2.3 工程化應用創新

可移植數據集構建：收集涵蓋小區、寫字樓、商圈等多場景數據，模型可快速遷移至不同應用環境。

低成本硬件方案：采用STM32F407VET6控制板與N10激光雷達組合，硬件成本較同類方案降低40%。

三、硬件系統架構

3.1 核心硬件組件

3.2 硬件連接示意圖

RDK X3開發板 ←串口→ STM32F407VET6控制板
          ↖USB→ N10激光雷達
          ↖USB→ 攝像頭
          ↖I2C→ Audio Driver HAT語音模塊
STM32F407VET6 ←I2C→ MPU6050
               ←PWM→ AT8236電機驅動板 ←→ 直流減速電機

四、軟件系統設計

4.1 系統架構分層

4.1.1 感知層

環境感知：N10激光雷達點云數據采集（掃描范圍360°，測距精度±3cm）

視覺感知：USB攝像頭圖像采集（1080P/30FPS），YOLOv5目標檢測（電動車、障礙物識別）

姿態感知：MPU6050六軸數據采集（加速度±16g，角速度±2000°/s）

4.1.2 控制層

• 建圖導航：

# Gmapping建圖核心流程
import rospy
from sensor_msgs.msg import LaserScan
from nav_msgs.msg import OccupancyGrid

def laser_callback(scan):
    # 激光雷達數據預處理
    processed_data = preprocess_laser(scan)
    # 發布至Gmapping節點
    gmapping_pub.publish(processed_data)

def map_callback(map_data):
    # 地圖保存邏輯
    save_occupancy_grid(map_data)

導航控制：Nav2框架集成A*算法，支持目標點導航與路徑規劃

違停判斷：基于語義分割結果與YOLOv5檢測框的坐標運算

4.1.3 應用層

人機交互：語音指令解析（關鍵詞識別）與播報（TTS合成）

數據管理：Socket通信（TCP協議）實現圖像傳輸，HyperLPR3車牌識別，Excel記錄系統

4.2 算法核心模塊

4.2.1 YOLOv5目標檢測

# YOLOv5推理流程（簡化）
import torch

# 加載模型
model = torch.hub.load('ultralytics/yolov5', 'custom', path='電動車檢測模型.pt')

def detect_bicycle(img):
    # 圖像預處理
    results = model(img)
    # 過濾電動車類別（class=0）
    bicycle_detections = results.xyxy[0][results.xyxy[0][:, 5] == 0]
    return bicycle_detections

4.2.2 語義分割與違停判斷

# 語義分割與違停判斷邏輯
def is_parking_violation(bicycle_box, seg_mask):
    # 獲取停車線區域
    parking_lines = get_parking_lines(seg_mask)
    if not parking_lines:
        return True  # 無停車線時視為違停
    
    # 提取檢測框底部線段
    bottom_line = get_bottom_line(bicycle_box)
    # 計算線段與停車線交點
    intersections = line_intersection(bottom_line, parking_lines)
    
    if intersections:
        # 計算區域內占比
        in_ratio = calculate_ratio(intersections, bottom_line)
        return in_ratio < 0.5  # 區域內占比＜50%視為違停
    else:
        # 延長線檢測邏輯
        extended_line = extend_line(bottom_line)
        cross_count = count_crossings(extended_line, parking_lines)
        return cross_count < 1  # 穿越次數＜1視為違停

五、系統性能與應用場景

5.1 關鍵性能指標

檢測準確率：電動車識別準確率92.3%，違停判斷準確率89.7%

響應時間：從檢測到完成車牌記錄全程＜10秒

續航能力：搭載12V/5Ah鋰電池，連續巡邏時間≥4小時

環境適應性：支持0.5m/s以下風速、-10℃~40℃溫度環境

5.2 典型應用場景

小區/校園管理：自動巡檢消防通道、樓道口等禁停區域

商業綜合體：規范電動車停放秩序，優化出入口通行效率

智慧城市管理：為城管部門提供違停數據支持，輔助執法決策