SAM概述

分割任何模型 （Segment Anything Model - SAM） 是一種突破性的圖像分割模型，可實(shí)現(xiàn)具有實(shí)時(shí)性能的快速分割。它構(gòu)成了 Segment Anything 項(xiàng)目的基礎(chǔ)，該項(xiàng)目引入了用于圖像分割的新任務(wù)、模型和數(shù)據(jù)集。SAM 被設(shè)計(jì)為可提示的，允許它將零樣本轉(zhuǎn)移到新的圖像分布和任務(wù)。該模型在 SA-1B 數(shù)據(jù)集上進(jìn)行訓(xùn)練，該數(shù)據(jù)集在許可和尊重隱私的一千一百萬(wàn)張圖像上包含超過(guò) 11 億個(gè)蒙版。SAM展示了令人印象深刻的零樣本分割性能，常規(guī)場(chǎng)合超過(guò)之前監(jiān)督學(xué)習(xí)的結(jié)果。

主要特點(diǎn)

01

提示分段任務(wù)：

SAM 專為可提示的分割任務(wù)而設(shè)計(jì)，使其能夠在給定任何分割提示（例如標(biāo)識(shí)對(duì)象的空間或文本信息）的情況下返回有效的分割掩碼。

02

高級(jí)架構(gòu)：

SAM 利用強(qiáng)大的圖像編碼器、提示編碼器和輕量級(jí)掩碼解碼器。這種架構(gòu)在分割中實(shí)現(xiàn)了靈活的提示、實(shí)時(shí)掩碼計(jì)算和模糊感知。

03

SA-1B 數(shù)據(jù)集：

Segment Anything項(xiàng)目引入了SA-1B數(shù)據(jù)集，該數(shù)據(jù)集包含1000多萬(wàn)張圖像上的11億多個(gè)掩碼。該數(shù)據(jù)集是迄今為止最大的分割數(shù)據(jù)集，為 SAM 提供了用于訓(xùn)練的多樣化和大規(guī)模數(shù)據(jù)源。

04

零樣本性能：

SAM 在一系列分割任務(wù)中表現(xiàn)出卓越的零樣本性能，開箱即用，可針對(duì)各種應(yīng)用進(jìn)行快速工程設(shè)計(jì)。 SAM 可用于各種視覺(jué)場(chǎng)景下游任務(wù)，涉及訓(xùn)練數(shù)據(jù)之外的對(duì)象和圖像分布。包括邊緣檢測(cè)、對(duì)象推薦生成、實(shí)例分割和初級(jí)文本到掩碼預(yù)測(cè)。通過(guò)采用提示工程，SAM可以零樣本的方式適應(yīng)新任務(wù)和數(shù)據(jù)分布，使其成為圖像分割任務(wù)的多功能和強(qiáng)大工具。

YOLOv8中使用SAM模型

當(dāng)前YOLOv8支持兩種SAM模型，分別是base與large版本SAM模型。以base模型為例，基于YOLOv8框架，SAM實(shí)現(xiàn)推理圖像分割一切得代碼只需要如下幾行：

fromultralyticsimportSAM
importcv2ascv

model=SAM('sam_b.pt')
model.info()#displaymodelinformation
result=model.predict("D:/bird_test/master.jpg")

運(yùn)行結(jié)果顯示如下：

基于YOLOv8對(duì)象檢測(cè)模型，實(shí)現(xiàn)自動(dòng)語(yǔ)義分割模型的標(biāo)注：

fromultralytics.yolo.data.annotatorimportauto_annotate
auto_annotate(data="path/to/images",det_model="yolov8x.pt",sam_model='sam_b.pt')

兩行代碼即可實(shí)現(xiàn)自動(dòng)實(shí)例分割標(biāo)注，從此愛(ài)上標(biāo)注數(shù)據(jù)這個(gè)活！

審核編輯：劉清