研究動機(jī)
傳統(tǒng)的多模態(tài)預(yù)訓(xùn)練方法通常需要"大數(shù)據(jù)"+"大模型"的組合來同時學(xué)習(xí)視覺+語言的聯(lián)合特征。但是關(guān)注如何利用視覺+語言數(shù)據(jù)提升視覺任務(wù)(多模態(tài)->單模態(tài))上性能的工作并不多。本文旨在針對上述問題提出一種簡單高效的方法。
在這篇文章中,以醫(yī)療影像上的特征學(xué)習(xí)為例,我們提出對圖像+文本同時進(jìn)行掩碼建模(即Masked Record Modeling,Record={Image,Text})可以更好地學(xué)習(xí)視覺特征。該方法具有以下優(yōu)點(diǎn):
簡單。僅通過特征相加就可以實(shí)現(xiàn)多模態(tài)信息的融合。此處亦可進(jìn)一步挖掘,比如引入更高效的融合策略或者擴(kuò)展到其它領(lǐng)域。
高效。在近30w的數(shù)據(jù)集上,在4張NVIDIA 3080Ti上完成預(yù)訓(xùn)練僅需要1天半左右的時間。
性能強(qiáng)。在微調(diào)階段,在特定數(shù)據(jù)集上,使用1%的標(biāo)記數(shù)據(jù)可以接近100%標(biāo)記數(shù)據(jù)的性能。
方法(一句話總結(jié))
如上圖所示,我們提出的訓(xùn)練策略是比較直觀的,主要包含三步:
隨機(jī)Mask一部分輸入的圖像和文本
使用加法融合過后的圖像+文本的特征重建文本
使用圖像的特征重建圖像。
性能
如上圖所示,我們?nèi)鎸Ρ攘爽F(xiàn)有的相關(guān)方法和模型在各類微調(diào)任務(wù)上的性能。
在CheXpert上,我們以1%的有標(biāo)記數(shù)據(jù)接近使用100%有標(biāo)記數(shù)據(jù)的性能。
在RSNA Pneumonia和SIIM (分割)上,我們以較大幅度超過了之前最先進(jìn)的方法。
審核編輯 :李倩
-
建模
+關(guān)注
關(guān)注
1文章
315瀏覽量
61409 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1222瀏覽量
25267 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8949瀏覽量
139408
原文標(biāo)題:ICLR 2023 | 廈大&港大提出MRM:利用視覺+語言數(shù)據(jù)增強(qiáng)視覺特征
文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
?VLM(視覺語言模型)?詳細(xì)解析

NaVILA:加州大學(xué)與英偉達(dá)聯(lián)合發(fā)布新型視覺語言模型
基于視覺語言模型的導(dǎo)航框架VLMnav
使用語義線索增強(qiáng)局部特征匹配

圖像采集卡:增強(qiáng)視覺數(shù)據(jù)采集

視覺檢測是什么意思?機(jī)器視覺檢測的適用行業(yè)及場景有哪些?
什么是機(jī)器視覺opencv?它有哪些優(yōu)勢?
機(jī)器視覺和計(jì)算機(jī)視覺有什么區(qū)別
機(jī)器視覺的應(yīng)用實(shí)例解析
機(jī)器人視覺與計(jì)算機(jī)視覺的區(qū)別與聯(lián)系
計(jì)算機(jī)視覺和機(jī)器視覺區(qū)別在哪
機(jī)器視覺的應(yīng)用流程是如何實(shí)現(xiàn)的
機(jī)器視覺控制的優(yōu)缺點(diǎn)有哪些
TDES9640增強(qiáng)視覺解串器數(shù)據(jù)表

評論