女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

計算機視覺走向何方?參會ICCV的一些感想

CVer ? 來源:Architistics ? 2023-10-08 16:16 ? 次閱讀

ICCV結(jié)束了。對我來說,這次的highlight就是第一天下午的"Quo vadis, computer vision“ workshop。“Quo vadis"是拉丁語,意思是“我們?nèi)ハ蚝畏健啊?/p>

四年前的CVPR,也有過一場類似的workshop(Computer Vision After 5 Years),今年這次workshop,主辦方也讓四年前也在的大佬們回顧了自己當(dāng)年的predictions,看看誰是大預(yù)言家(spoiler: Jitendra Malik)。這場 workshop是我這幾年來參加的各種會議里最有意思的。可惜因為聽的太投入,并沒有很多的圖片記錄,現(xiàn)在我意識到似乎主辦方并不會上傳slides。所以這篇文章里我就簡單談?wù)勎易约旱囊恍└邢耄皇怯涗涍@個會議。

Ignorance or faith on LLM?

今年最火的莫過于LLM。LLM的成功刺激了很多相關(guān)的vision research。然而許多的vision-language的研究其實都是基于一種對LLM的faith,而并沒有在深入思考這一切的合理性。David Forsyth問道:why would anyone believe that:

Visual knowledge is the same as linguistic knowledge

You can describe the world of an image properly in words

LLMs can do vision (anything)? if you ask nicely.

深入來看,這其實是一個關(guān)于vision和language區(qū)別的問題。但其實在我看來這些問題都很奇怪,可能因為我自己也覺得這些想法都很absurd。對我來說,更有意思的問題可能是:vision systems的什么knowledge是LLM做不了的,我們又該怎么做?在這里提一個idea,不知道未來有沒有機會去好好做:我們有沒有可能對稠密的vision空間進行一個approximate decomposition,分解成幾個子空間的積?(其中一個子空間就可以是離散的language空間)

Data over algorithms

這個主題是我非常認(rèn)同的。四年前,我寫過一篇文章(Andre:思考無標(biāo)注數(shù)據(jù)的可用極限),提出的也是我們要重視數(shù)據(jù)的研究,而不是算法的研究。今天依然適用。Alyosha Efros這次也再次強調(diào)了這個方向的本質(zhì)性。

需要解釋的是,什么是"data research"。并不是說直接去做數(shù)據(jù)集才是data research,而是說從data層面開始思考模型的有效性,learning process,generalization ability,等等。從這個角度講,從data中學(xué)習(xí)知識 (self-supervised learning)是data research,研究如何克服data shift的影響(OOD, open-world)當(dāng)然也是data research,這里不再贅述了。

Video與視覺大模型

這個主題是今年開始進入我的視野的。年初隨著stable diffusion, segment anything model的出現(xiàn),我們不少人開始思考視覺大模型該是什么形態(tài),我與組里不少同學(xué)聊天后的感受就是要做video。在五月份的ICLR時,我與Ben Poole還有3DGP的作者也交流了不少(順帶表示ICLR的參會體驗比ICCV好太多了),感受就是現(xiàn)在3D問題大概就是兩個思路:1. 希望隨著depth camera的引入,會有更多海量的3D data,直接訓(xùn)出3D大模型;2. 希望video大模型直接繞開explicit 3D modeling的需求,建成vision大模型。這次ICCV另一個MMFM上,Vincent Sitzman也提出了一個類似的思路,但是他直接把video和3d modeling結(jié)合了起來(然而我并沒有特別跟上他講的東西,希望之后talk能有slides讓我再學(xué)習(xí)學(xué)習(xí))。

講了上面這么多,我就是想說video很可能是我們走向視覺大模型的路。這次quo vadis workshop上,Jitendra的分享主要也是指出video的重要性。他指出:video有兩個用處:

Exteroception:建立對外部世界的認(rèn)識。We build mental models of behavior (physical, social ...) and use them to interpret, predict, and control

Proprioception:建立對自己的認(rèn)識。Helps produce an episodic memory situated in space and time, and guides action in a context-specific way。

他還給出了一個對video的思考框架,短video對應(yīng)了movement/physical action,長video對應(yīng)了goal/intention,而一個完整的action就是movement + goal。

當(dāng)然,這些都是比較高屋建瓴的觀點了。但對于我們這些正在地上爬的人當(dāng)然還是有好處的。(另外,Jitendra還認(rèn)為token-based LLM可能不是最終的模型,因為它不能很好地capture 4D world,同時complexity也太高)。

Embodied AI?

最后,可能大家從上面一段論述中也已經(jīng)能感覺出來了,許多大佬們正把embodied AI作為一個最終的目標(biāo)。Antonio Torralba給了一個很有意思的talk,說我們是時候要返璞歸真,從focus on performance on benchmarks回到"the original goal"。對他來說,這個goal就是embodied AI。有意思的是, Antonio提出的設(shè)想是 small network, big sensing,他稱作embodied perception。他舉了個例子:人光光味蕾上的傳感器就比我們現(xiàn)在最先進的機器人身上全部的傳感器要多。然而就在第二天的BRAVO workshop上,Wayve的Jamie Shotton給出了完全相反的框架:lightweight sensors + big model。考慮到傳感器的價格,Jamie的想法可能現(xiàn)在這個時候是更合適的。不過也許最終Antonio的想法才最make sense。

cfffe6da-65af-11ee-939d-92fbcf53809c.jpg

Antonio的小模型,大感知

d0102ffe-65af-11ee-939d-92fbcf53809c.jpg

Jamie的大模型,小感知

閑話就說到這里了。這次ICCV還是有不少有意思的talks,希望之后能有公開的videos/slides。最后,祝愿各位同仁們都能繼續(xù)做自己感興趣的方向,做出令自己滿意的工作!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 計算機視覺
    +關(guān)注

    關(guān)注

    9

    文章

    1706

    瀏覽量

    46580
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1223

    瀏覽量

    25283
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    320

    瀏覽量

    687

原文標(biāo)題:計算機視覺走向何方?參會ICCV的一些感想

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點推薦

    【小白入門必看】文讀懂深度學(xué)習(xí)計算機視覺技術(shù)及學(xué)習(xí)路線

    、什么是計算機視覺計算機視覺,其實就是教機器怎么像我們?nèi)?b class='flag-5'>一樣,用攝像頭看看周圍的世界,然后理
    的頭像 發(fā)表于 10-31 17:00 ?1106次閱讀
    【小白入門必看】<b class='flag-5'>一</b>文讀懂深度學(xué)習(xí)<b class='flag-5'>計算機</b><b class='flag-5'>視覺</b>技術(shù)及學(xué)習(xí)路線

    計算機視覺有哪些優(yōu)缺點

    計算機視覺作為人工智能領(lǐng)域的個重要分支,旨在使計算機能夠像人類樣理解和解釋圖像和視頻中的信息。這
    的頭像 發(fā)表于 08-14 09:49 ?1851次閱讀

    計算機視覺技術(shù)的AI算法模型

    計算機視覺技術(shù)作為人工智能領(lǐng)域的個重要分支,旨在使計算機能夠像人類樣理解和解釋圖像及視頻中的信息。為了實現(xiàn)這
    的頭像 發(fā)表于 07-24 12:46 ?1617次閱讀

    機器視覺計算機視覺有什么區(qū)別

    機器視覺計算機視覺是兩個密切相關(guān)但又有所區(qū)別的概念。 、定義 機器視覺 機器視覺,又稱為
    的頭像 發(fā)表于 07-16 10:23 ?1012次閱讀

    計算機視覺的五大技術(shù)

    計算機視覺作為深度學(xué)習(xí)領(lǐng)域最熱門的研究方向之,其技術(shù)涵蓋了多個方面,為人工智能的發(fā)展開拓了廣闊的道路。以下是對計算機視覺五大技術(shù)的詳細(xì)解析
    的頭像 發(fā)表于 07-10 18:26 ?2277次閱讀

    計算機視覺與機器視覺的區(qū)別與聯(lián)系

    與緊密的聯(lián)系。本文將從多個維度深入探討計算機視覺與機器視覺的區(qū)別與聯(lián)系,以期為讀者提供個全面而深入的理解。
    的頭像 發(fā)表于 07-10 18:24 ?2455次閱讀

    計算機視覺的工作原理和應(yīng)用

    計算機視覺(Computer Vision,簡稱CV)是門跨學(xué)科的研究領(lǐng)域,它利用計算機和數(shù)學(xué)算法來模擬人類視覺系統(tǒng)對圖像和視頻進行識別、
    的頭像 發(fā)表于 07-10 18:24 ?3164次閱讀

    機器人視覺計算機視覺的區(qū)別與聯(lián)系

    機器人視覺計算機視覺是兩個密切相關(guān)但又有所區(qū)別的領(lǐng)域。 1. 引言 在當(dāng)今科技迅猛發(fā)展的時代,機器人和計算機視覺技術(shù)在各個領(lǐng)域發(fā)揮著越來越
    的頭像 發(fā)表于 07-09 09:27 ?1103次閱讀

    計算機視覺與人工智能的關(guān)系是什么

    引言 計算機視覺門研究如何使計算機能夠理解和解釋視覺信息的學(xué)科。它涉及到圖像處理、模式識別、機器學(xué)習(xí)等多個領(lǐng)域的知識。人工智能則是研究如
    的頭像 發(fā)表于 07-09 09:25 ?1221次閱讀

    計算機視覺與智能感知是干嘛的

    引言 計算機視覺(Computer Vision)是門研究如何使計算機能夠理解和解釋視覺信息的學(xué)科。它涉及到圖像處理、模式識別、機器學(xué)習(xí)等
    的頭像 發(fā)表于 07-09 09:23 ?1650次閱讀

    計算機視覺和機器視覺區(qū)別在哪

    計算機視覺和機器視覺是兩個密切相關(guān)但又有明顯區(qū)別的領(lǐng)域。 、定義 計算機視覺
    的頭像 發(fā)表于 07-09 09:22 ?804次閱讀

    計算機視覺和圖像處理的區(qū)別和聯(lián)系

    計算機視覺和圖像處理是兩個密切相關(guān)但又有明顯區(qū)別的領(lǐng)域。 1. 基本概念 1.1 計算機視覺 計算機視覺
    的頭像 發(fā)表于 07-09 09:16 ?2108次閱讀

    計算機視覺在人工智能領(lǐng)域有哪些主要應(yīng)用?

    計算機視覺是人工智能領(lǐng)域的個重要分支,它主要研究如何讓計算機能夠像人類樣理解和處理圖像和視頻數(shù)據(jù)。
    的頭像 發(fā)表于 07-09 09:14 ?2598次閱讀

    計算機視覺屬于人工智能嗎

    屬于,計算機視覺是人工智能領(lǐng)域的個重要分支。 引言 計算機視覺門研究如何使
    的頭像 發(fā)表于 07-09 09:11 ?1994次閱讀

    深度學(xué)習(xí)在計算機視覺領(lǐng)域的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,深度學(xué)習(xí)作為其中的核心技術(shù)之,已經(jīng)在計算機視覺領(lǐng)域取得了顯著的成果。計算機視覺,作為
    的頭像 發(fā)表于 07-01 11:38 ?1568次閱讀