1. 項目簡介

1.1 色塊識別的重要性

顏色特征提取：顏色是一種重要的視覺特征，尤其在背景較為單一的情況下，能夠快速區分目標區域。

應用場景：廣泛應用于機器人導航、工業自動化、物體跟蹤等領域。

HSV 顏色空間：相比于 RGB 顏色空間，HSV 更適合用于顏色識別，因為它可以將顏色信息（Hue）、飽和度（Saturation）和亮度（Value）分離，便于設置閾值。

1.2 色塊識別的流程

獲取圖像。

將圖像從 BGR 轉換為 HSV 顏色空間。

創建二值掩碼，篩選出符合顏色范圍的像素。

使用形態學操作清除噪聲。

查找輪廓并篩選符合條件的色塊。

計算外接矩形和中心點。

繪制結果并輸出。

1.3 圖像處理的重要性

目標檢測：圖像處理技術可以用于檢測圖像中的特定對象或特征。

應用場景：廣泛應用于物體識別、工業自動化、機器人導航、自動駕駛等領域。

常見任務：

邊緣檢測：提取圖像中的邊界信息。

直線檢測：識別圖像中的直線結構。

圓檢測：識別圖像中的圓形結構。

多邊形擬合：將輪廓擬合成多邊形以簡化形狀描述。

1.4 圖像處理的基本流程

初始化攝像頭：打開攝像頭設備并設置分辨率。

讀取圖像幀：從攝像頭中獲取實時視頻幀。

預處理：將圖像轉換為灰度圖、降噪等操作。

特征檢測：執行邊緣檢測、霍夫變換等算法。

結果繪制：在原圖上繪制檢測到的特征。

顯示結果：將處理后的圖像輸出到屏幕。

1.5、源代碼地址

https://gitee.com/LockzhinerAI/LockzhinerVisionModule/tree/master/Cpp_example/C05_Finecolorandshape

2. API 文檔

2.1 頭文件

#include

2.2 生成掩碼

cv::inRange(src,lowerb,upperb,dst);

參數說明：

src：輸入圖像，可以是單通道或三通道的圖像。

lowerb：顏色下界，是一個Scalar對象，表示要查找的顏色的下限。

upperb：顏色上界，是一個Scalar對象，表示要查找的顏色的上限。

dst：輸出圖像，是一個單通道的8位無符號整數圖像，表示生成的掩碼。

返回值：

無

2.3 創建形態學操作所需的結構元素核

cv::getStructuringElement(shape,ksize,anchor);

參數說明：

shape：核形狀，可以是RECT、CROSS、ELLIPSE等。

ksize：核大小，是一個Size對象，表示核的寬度和高度。

anchor：錨點，是一個Point對象，表示核的錨點位置。

返回值：

返回一個核，是一個Mat對象。

2.4 形態學操作：清除噪聲

cv::morphologyEx(src,dst,op,kernel,anchor,iterations,borderType,borderValue);

參數說明：

src：輸入圖像，可以是單通道或三通道的圖像。

dst：輸出圖像，是一個單通道的8位無符號整數圖像，表示生成的掩碼。

op：操作類型，可以是OPEN、CLOSE、GRADIENT、TOPHAT、BLACKHAT等。

kernel：核，是一個Mat對象，表示形態學操作的核。

anchor：錨點，是一個Point對象，表示核的錨點位置。

iterations：迭代次數，是一個整數，表示形態學操作的迭代次數。

borderType：邊界類型，可以是BORDER_CONSTANT、BORDER_REPLICATE、BORDER_REFLECT、BORDER_WRAP、BORDER_REFLECT_101等。

borderValue：邊界值，是一個Scalar對象，表示邊界區域的值。

返回值：

無

2.5 查找輪廓

cv::findContours(image,contours,hierarchy,mode,method,offset);

參數說明：

image：輸入圖像，可以是單通道或三通道的圖像。

contours：輸出參數，是一個vector>對象，表示輪廓的集合。

hierarchy：輸出參數，是一個vector對象，表示輪廓的層級關系。

mode：輪廓發現模式，可以是RETR_EXTERNAL、RETR_LIST、RETR_CCOMP、RETR_TREE等。

method：輪廓 approximation 方法，可以是CHAIN_APPROX_NONE、CHAIN_APPROX_SIMPLE、CHAIN_APPROX_TC89_L1、CHAIN_APPROX_TC89_KCOS等。

offset：輪廓偏移量，是一個Point對象，表示輪廓的偏移量。

返回值：

返回一個整數，表示輪廓的數量。

2.6 獲取輪廓的外接矩形

cv::boundingRect(points);

參數說明：

points：輸入參數，是一個vector對象，表示輪廓的點集合。

返回值：

返回一個Rect對象，表示輪廓的外接矩形。

2.7 計算矩陣矩

cv::moments(array,binaryImage);

參數說明：

array：輸入參數，是一個Mat對象，表示輸入的矩陣。

binaryImage：輸入參數，是一個布爾值，表示是否將輸入的矩陣轉換為二值矩陣。

返回值：

返回一個 Moments對象，表示矩陣的矩。

2.8 繪制矩形框

cv::rectangle(img,pt1,pt2,color,thickness,lineType,shift);

參數說明：

img：輸入參數，是一個Mat對象，表示輸入的圖像。

pt1：輸入參數，是一個Point對象，表示矩形的左上角點。

pt2：輸入參數，是一個Point對象，表示矩形的右下角點。

color：輸入參數，是一個Scalar對象，表示矩形的顏色。

thickness：輸入參數，是一個整數，表示矩形的線寬。

lineType：輸入參數，是一個整數，表示矩形的線類型。

shift：輸入參數，是一個整數，表示坐標的精度。

返回值：

無

2.9 繪制圓

cv::circle(img,center,radius,color,thickness,lineType,shift);

參數說明：

img：輸入參數，是一個Mat對象，表示輸入的圖像。

center：輸入參數，是一個Point對象，表示圓心。

radius：輸入參數，是一個整數，表示圓的半徑。

color：輸入參數，是一個Scalar對象，表示圓的顏色。

thickness：輸入參數，是一個整數，表示圓的線寬。

lineType：輸入參數，是一個整數，表示圓的線類型。

shift：輸入參數，是一個整數，表示坐標的精度。

返回值：

無

2.10 查找色塊函數（自定義）

std::vector<std::vector<cv::Point>>find_blobs(
constcv::Mat&image,
constcv::Scalar&lower_bound,
constcv::Scalar&upper_bound,
intmin_area=100,
intkernel_size=5);

參數說明：

image：輸入參數，是一個Mat對象，表示輸入的圖像。

lower_bound：輸入參數，是一個Scalar對象，表示顏色下界。

upper_bound：輸入參數，是一個Scalar對象，表示顏色上界。

min_area：輸入參數，是一個整數，表示最小面積。

kernel_size：輸入參數，是一個整數，表示核大小。

返回值：

返回一個vector>對象，表示找到的色塊的點集合。

2.11 高斯模糊

cv::GaussianBlur(src,dst,Size(3,3),0);

參數：

src：輸入圖像。

dst：輸出圖像。

Size(3, 3)：卷積核大小。

0：標準差。

返回值：

無。

2.12 邊緣檢測

cv::Canny(src,dst,50,150);

參數：

src：輸入圖像。

dst：輸出圖像。

50：低閾值。

150：高閾值。

apertureSize：Sobel 算子的孔徑大小（默認為 3）。

L2gradient：是否使用 L2 范數計算梯度（默認為 false）。

返回值：

無。

2.13 對輪廓進行多邊形擬合

cv::approxPolyDP(contours[i],approx,epsilon,closed);

參數：

contours[i]：輪廓。

approx：多邊形頂點列表。

epsilon：精度參數，表示最大距離，用于控制多邊形擬合的精度。

closed：是否閉合多邊形（默認為 false）。

返回值：

無

2.14 使用概率霍夫變換檢測直線

cv::HoughLinesP(src,lines,1,CV_PI/180,50,50,10);

參數：

src：輸入圖像。

lines：檢測到的直線列表。

1：rho 分辨率。

CV_PI / 180：theta 分辨率。

50：最小線段長度。

50：最大線段間隔。

10：線段閾值。

返回值：

無

2.15 使用霍夫變化檢測圓型

cv::HoughCircles(src,circles,CV_HOUGH_GRADIENT,1,src.rows/8,200,100,0,0);

參數：

src：輸入圖像。

circles：檢測到的圓列表。

CV_HOUGH_GRADIENT：檢測方法。

1：rho 分辨率。

src.rows / 8：theta 分辨率。

200：最小圓半徑。

100：最大圓半徑。

0：圓心 x 坐標。

0：圓心 y 坐標。

返回值：

無

3. 綜合代碼介紹

3.1 流程圖

3.2 核心代碼解析

閾值分割

cv::inRange(hsv_image,lower_bound,upper_bound,mask);

形態學開運算

cv::Matkernel=cv::getStructuringElement(cv::MORPH_RECT,cv::Size(kernel_size,kernel_size));
cv::morphologyEx(mask,mask,cv::MORPH_OPEN,kernel);

輪廓查找

std::vector<std::vector<cv::Point>>contours;
cv::findContours(mask,contours,cv::RETR_EXTERNAL，cv::CHAIN_APPROX_SIMPLE);

篩選色塊

std::vector<std::vector<cv::Point>>filtered_contours;
for(constauto&contour:contours)
{
cv::Rectbounding_rect=cv::boundingRect(contour);
if(bounding_rect.area()>=min_area)
{
filtered_contours.push_back(contour);
}
}

3.3 完整代碼實現

#include
#include
#include
#include

std::vector<std::vector<cv::Point>>find_blobs(
constcv::Mat&image,
constcv::Scalar&lower_bound,
constcv::Scalar&upper_bound,
intmin_area=100,
intkernel_size=5)
{
// 轉換為 HSV 顏色空間
cv::Mathsv_image;
cv::cvtColor(image,hsv_image,cv::COLOR_BGR2HSV);

// 創建二值掩碼
cv::Matmask;
cv::inRange(hsv_image,lower_bound,upper_bound,mask);

// 形態學操作：清除噪聲
cv::Matkernel=cv::getStructuringElement(cv::MORPH_RECT,cv::Size(kernel_size,kernel_size));
cv::morphologyEx(mask,mask,cv::MORPH_OPEN,kernel);

// 查找輪廓
std::vector<std::vector<cv::Point>>contours;
cv::findContours(mask,contours,cv::RETR_EXTERNAL,cv::CHAIN_APPROX_SIMPLE);

// 篩選符合條件的色塊
std::vector<std::vector<cv::Point>>filtered_contours;
for(constauto&contour:contours)
{
cv::Rectbounding_rect=cv::boundingRect(contour);
if(bounding_rect.area()>=min_area)
{
filtered_contours.push_back(contour);
}
}
returnfiltered_contours;
}

intmain()
{
lockzhiner_vision_module::Editedit;
if(!edit.StartAndAcceptConnection())
{
std::cerr<<"Error: Failed to start and accept connection."<<std::endl;
returnEXIT_FAILURE;
}
std::cout<<"Device connected successfully."<<std::endl;

cv::VideoCapturecap;
intwidth=640; // 設置攝像頭分辨率寬度
intheight=480;// 設置攝像頭分辨率高度
cap.set(cv::CAP_PROP_FRAME_WIDTH,width);
cap.set(cv::CAP_PROP_FRAME_HEIGHT,height);

// 打開攝像頭設備
cap.open(0);// 參數 0 表示默認攝像頭設備
if(!cap.isOpened())
{
std::cerr<<"Error: Could not open camera."<<std::endl;
returnEXIT_FAILURE;
}

while(true)
{
cv::Matimage;// 存儲每一幀圖像
cap>>image; // 獲取新的一幀

if(image.empty())
{
std::cerr<<"Warning: Couldn't read a frame from the camera."<<std::endl;
continue;
}

// 定義顏色閾值（例如紅色）
cv::Scalarlower_red(170,100,100);// 紅色下界
cv::Scalarupper_red(179,255,255);// 紅色上界

// 調用 find_blobs 函數
intmin_area=100; // 最小面積閾值
intkernel_size=1;// 形態學操作核大小
std::vector<std::vector<cv::Point>>blobs=find_blobs(image,lower_red,upper_red,min_area,kernel_size);

// 繪制和打印檢測到的色塊，并篩選矩形
for(constauto&contour:blobs)
{
// 計算外接矩形框
cv::Rectbounding_rect=cv::boundingRect(contour);

// 近似多邊形擬合
std::vector<cv::Point>approx;
cv::approxPolyDP(contour,approx,cv::arcLength(contour,true)*0.02,true);

// 判斷是否為四邊形
if(approx.size()==4)
{
// 繪制矩形框
cv::rectangle(image,bounding_rect,cv::Scalar(0,255,0),2);

// 計算中心點
cv::Momentsmoments=cv::moments(contour);
intcx=moments.m10/moments.m00;
intcy=moments.m01/moments.m00;

// 繪制中心點
cv::circle(image,cv::Point(cx,cy),5,cv::Scalar(0,0,255),-1);

// 打印信息
std::cout<<"Red quadrilateral detected at ("<<cx<<", "<<cy
<<") with area "<<bounding_rect.area()<<std::endl;
}
}

// 顯示結果
edit.Print(image);
}

cap.release();
return0;
}

4. 編譯過程

4.1 編譯環境搭建

請確保你已經按照開發環境搭建指南正確配置了開發環境。

同時以正確連接開發板。

4.2 Cmake介紹

# CMake最低版本要求
cmake_minimum_required(VERSION3.10)

project(test-Finecolorandshape)

set(CMAKE_CXX_STANDARD17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)

# 定義項目根目錄路徑
set(PROJECT_ROOT_PATH"${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = "${PROJECT_ROOT_PATH})

include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")

# 定義 OpenCV SDK 路徑
set(OpenCV_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR"${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES"${OpenCV_LIBS}")
# 定義 LockzhinerVisionModule SDK 路徑
set(LockzhinerVisionModule_ROOT_PATH"${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR"${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)

# 尋找色塊和輪廓
add_executable(Test-Finecolorandshape Finecolorandshape.cc)
target_include_directories(Test-Finecolorandshape PRIVATE${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-Finecolorandshape PRIVATE${OPENCV_LIBRARIES}${LOCKZHINER_VISION_MODULE_LIBRARIES})

install(
TARGETS Test-Finecolorandshape
RUNTIME DESTINATION .
)

4.3 編譯項目

使用 Docker Destop 打開 LockzhinerVisionModule 容器并執行以下命令來編譯項目

# 進入Demo所在目錄
cd/LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/C05_Find_color_and_shape
# 創建編譯目錄
rm-rfbuild &&mkdirbuild &&cdbuild
# 配置交叉編譯工具鏈
exportTOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置項目
cmake ..
# 執行編譯項目
make-j8&&makeinstall

在執行完上述命令后，會在build目錄下生成可執行文件。

5. 例程運行示例

5.1 運行過程

chmod777Test-Finecolorandshape
./Test-Finecolorandshape

5.2 結果展示

6. 總結

本程序實現了基于 OpenCV 的紅色四邊形檢測功能，具有以下特點：

高效性：通過顏色過濾、形態學處理和輪廓篩選，快速定位目標。

靈活性：支持自定義顏色閾值、最小面積和形態學核大小，適應不同場景需求。

易用性：代碼結構清晰，模塊化設計便于擴展和維護。該程序可作為基礎框架，進一步應用于更復雜的視覺任務，例如多目標檢測、動態跟蹤等。通過調整顏色閾值和形狀篩選條件，還可擴展到其他顏色和形狀的檢測任務。