計(jì)算機(jī)視覺(jué)：Computer Vision

一門(mén)讓計(jì)算機(jī)從圖像中提取有用信息并加以分析的科學(xué)。這些信息后續(xù)可以用于輔助一些決策或者任務(wù)，比如醫(yī)學(xué)圖像分析、工程測(cè)量、自動(dòng)駕駛、機(jī)器人學(xué)等等。

計(jì)算機(jī)圖像學(xué)：Computer Graphics

通過(guò)使用數(shù)學(xué)模型和計(jì)算機(jī)算法來(lái)生成圖像。

圖像處理：Image Process

圖像數(shù)字化：

空間采樣、量化、與連通性策略是將圖像做數(shù)字化表達(dá)過(guò)程中涉及到的重要概念。

量化：將每個(gè)像素點(diǎn)在色彩通道內(nèi)的亮度按照區(qū)間從連續(xù)分布轉(zhuǎn)化為離散分布的過(guò)程。

四連通與八連通：像素點(diǎn)計(jì)算領(lǐng)域的劃分標(biāo)準(zhǔn)。

四連通：像素四條邊相連的區(qū)域

八連通：比四連通多四個(gè)角。

距離：

歐式距離 (Euclidean) - 兩點(diǎn)之間的直線距離

曼哈頓距離 (City Block) - 沿著方格線行走的兩點(diǎn)間距（即僅水平和豎直四個(gè)方向移動(dòng)）

切比雪夫距離距離 (Chess Board) - 沿著方格線及對(duì)角行走的兩點(diǎn)間距（即水平、豎直、以及對(duì)角八個(gè)方向移動(dòng)）

一張圖片中往往有前景(foreground)和背景(background)：

確定前景和背景的連通性策略，通常有：

背景四連通、前景八連通

背景八連通、前景四連通

一般有遞歸算法、順序標(biāo)記法。

遞歸算法消耗性能大：遍歷圖像中所有的像素點(diǎn)，遇到未標(biāo)記區(qū)域編號(hào)的點(diǎn)即遞歸用當(dāng)前的區(qū)域編號(hào)標(biāo)記與之相連的所有像素點(diǎn)。

順序標(biāo)記法：運(yùn)用與像素區(qū)域連通性問(wèn)題

圖像數(shù)據(jù)的收集和處理：

借助語(yǔ)義化分割對(duì) UI 圖像進(jìn)行處理，得到輪廓、結(jié)構(gòu)、上下文等特征。

借助超級(jí)像素的方法來(lái)降低特征的數(shù)量，合并像素達(dá)到降低干擾因素的效果。

采用 OpenCV 進(jìn)行測(cè)量、計(jì)算，然后用規(guī)則嘗試提取有用的特征數(shù)據(jù)，結(jié)果并不理想，它更加擅長(zhǎng)測(cè)量和計(jì)算：需要大量的閾值約束才能達(dá)到比較好的效果：

用機(jī)器視覺(jué)的模型和算法來(lái)解決。這邊介紹 2 個(gè)模型：

MaskRCNN

2017年，Kaiming He等人提出了Mask R-CNN，是一種目標(biāo)檢測(cè)和實(shí)例分割的算法

Mask R-CNN（Mask Region-based Convolutional Neural Network）是一種用于目標(biāo)檢測(cè)和實(shí)例分割的深度學(xué)習(xí)模型，它是 Faster R-CNN 的擴(kuò)展，同時(shí)可以生成目標(biāo)的二進(jìn)制掩碼（mask），因此可以實(shí)現(xiàn)精確的實(shí)例分割。

1、骨干網(wǎng)絡(luò)：Mask R-CNN通常使用骨干網(wǎng)絡(luò)（如 ResNet）來(lái)提取圖像特征。這些特征用于目標(biāo)檢測(cè)和分割任務(wù)。

2、區(qū)域建議網(wǎng)絡(luò)（RPN）：RPN 用于生成候選區(qū)域，它是 Faster R-CNN 中的組件，用于確定可能包含目標(biāo)的圖像區(qū)域。

3、目標(biāo)檢測(cè)：Mask R-CNN 使用區(qū)域建議來(lái)檢測(cè)圖像中的目標(biāo)對(duì)象，通常通過(guò)分類(lèi)和回歸來(lái)確定每個(gè)目標(biāo)的位置和類(lèi)別。

4、實(shí)例分割：除了目標(biāo)檢測(cè)，Mask R-CNN 還生成每個(gè)檢測(cè)到的目標(biāo)的精確二進(jìn)制掩碼。這允許對(duì)目標(biāo)進(jìn)行精確的像素級(jí)分割。

5、多任務(wù)學(xué)習(xí)：Mask R-CNN 采用多任務(wù)學(xué)習(xí)的方法，通過(guò)同時(shí)訓(xùn)練目標(biāo)檢測(cè)和實(shí)例分割任務(wù)，從而提高模型的性能。

6、ROI Pooling / ROI Align：用于從特征圖中提取每個(gè)候選區(qū)域的特征，以供后續(xù)任務(wù)使用。

7、損失函數(shù)：Mask R-CNN 使用多個(gè)損失函數(shù)，包括分類(lèi)損失、回歸損失和分割損失，來(lái)訓(xùn)練模型。

Yolo V3

2016年，Joseph Redmon等人提出的 YOLO 是一種單階段的目標(biāo)檢測(cè)算法，突破性地實(shí)現(xiàn)了實(shí)時(shí)目標(biāo)檢測(cè)。

實(shí)例分割（instance segmentation）是機(jī)器視覺(jué)研究中比較重要、復(fù)雜和具有挑戰(zhàn)性的領(lǐng)域之一。在機(jī)器人，自動(dòng)駕駛，監(jiān)視等領(lǐng)域均有應(yīng)用。

來(lái)源：大前端視野