女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

大腦視覺信號被Stable Diffusion復現成圖像!

CVer ? 來源:量子位 ? 2023-03-06 10:56 ? 次閱讀

“現在Stable Diffusion已經能重建大腦視覺信號了!”

就在昨晚,一個聽起來細思極恐的“AI讀腦術”研究,在網上掀起軒然大波:

5669e49c-bb5f-11ed-bfe3-dac502259ad0.png

這項研究聲稱,只需用fMRI(功能磁共振成像技術,相比sMRI更關注功能性信息,如腦皮層激活情況等)掃描大腦特定部位獲取信號,AI就能重建出我們看到的圖像!

58061578-bb5f-11ed-bfe3-dac502259ad0.png

例如這是一系列人眼看到的圖像,包括戴著蝴蝶結的小熊、飛機和白色鐘樓:

58365594-bb5f-11ed-bfe3-dac502259ad0.png

AI看了眼人腦信號后,立馬就給出這樣的結果,屬實把該抓的重點全都抓住了:

58ef8e38-bb5f-11ed-bfe3-dac502259ad0.gif

再發展一步,這不就約等于哈利波特里的讀心術了嗎??

5b13639c-bb5f-11ed-bfe3-dac502259ad0.png

更有網友感到驚嘆:如果說ChatGPT開放API是件大事,那這簡直稱得上瘋狂。

5b5c7f82-bb5f-11ed-bfe3-dac502259ad0.png

所以,這究竟是怎么一回事?

用Stable Diffusion可視化人腦信號

這項研究來自日本大阪大學,目前已經被CVPR 2023收錄:

5b73ba26-bb5f-11ed-bfe3-dac502259ad0.png

High-resolution image reconstruction with latent diffusion models from human brain activity

研究希望能從人類大腦活動中,重建高保真的真實感圖像,來理解大腦、并解讀計算機視覺模型和人類視覺系統之間的聯系。

要知道,此前雖然有不少腦機接口研究,致力于從人類大腦活動中讀取并重建信號,如意念打字等。

然而,從人類大腦活動中重建視覺信號——具有真實感的圖像,仍然挑戰極大。

例如這是此前UC伯克利做過的一項類似研究,復現一張人眼看到的飛機片段,但計算機重建出來的圖像卻幾乎看不出飛機的特征:

5bde0c96-bb5f-11ed-bfe3-dac502259ad0.png

△圖源UC伯克利研究Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies

這次,研究人員重建信號選用的AI模型,是這一年多在圖像生成領域地位飛升的擴散模型。

當然,更準確地說是基于潛在擴散模型(LDM)——Stable Diffusion。

整體研究的思路,則是基于Stable Diffusion,打造一種以人腦活動信號為條件的去噪過程的可視化技術。

它不需要在復雜的深度學習模型上進行訓練或做精細的微調,只需要做好fMRI(功能磁共振成像技術)成像到Stable Diffusion中潛在表征的簡單線性映射關系就行。

它的概覽框架是這樣的,看起來也非常簡單:

僅由1個圖像編碼器、1個圖像解碼器,外加1個語義解碼器組成。

5c6acb86-bb5f-11ed-bfe3-dac502259ad0.png

具體怎么work?

如下圖所示,第一部分為本研究用到的LDM示意圖。

其中ε代表圖像編碼器,D代表圖像解碼器,而τ是一個文本編碼器(CLIP)。

5d81b124-bb5f-11ed-bfe3-dac502259ad0.png

重點是解碼分析,如下圖所示,模型依次從大腦早期(藍色)和較高(黃色)視覺皮層內的fMRI信號中,解碼出重建圖像(z)和相關文本c的潛在表征。

然后將這些潛在表征當作輸入,就可以得到模型最終復現出來的圖像Xzc。

5da3fd88-bb5f-11ed-bfe3-dac502259ad0.png

最后還沒有完,如編碼分析示意圖,作者還構建了一個編碼模型,用來預測LDM不同組件(包括圖像z、文本c和zc)所對應的fMRI信號,它可以用來理解Stable Diffusion的內部過程。

5dff944a-bb5f-11ed-bfe3-dac502259ad0.png

可以看到,采用了zc的編碼模型在大腦后部視覺皮層產生的預測精確度是最高的。(zc是與c進行交叉注意的反向擴散后,z再添加噪聲的潛在表征)

5e8b3586-bb5f-11ed-bfe3-dac502259ad0.png

相比其它兩者,它生成的圖像既具有高語義保真度,分辨率也很高。

5f3857d4-bb5f-11ed-bfe3-dac502259ad0.png

還有用GAN重建人臉圖像的

看完這項研究,已經有網友想到了細思極恐的東西:

這個AI雖然只是復制了“眼睛”所看到的東西。

但是否會有一天,AI能直接從人腦的思維、甚至是記憶中重建出圖像或文字?

5f824506-bb5f-11ed-bfe3-dac502259ad0.png

“語言的用處不再存在了”

5fe2c048-bb5f-11ed-bfe3-dac502259ad0.png

于是有網友進一步想到,如果能讀取記憶的話,那么目擊證人的證詞似乎也會變得更可靠了:

6010ead6-bb5f-11ed-bfe3-dac502259ad0.png

還別說,就在去年真有一項研究基于GAN,通過fMRI收集到的大腦信號重建看到的人臉圖像:

60299bb2-bb5f-11ed-bfe3-dac502259ad0.png

不過,重建出來的效果似乎不怎么樣……

604c0dfa-bb5f-11ed-bfe3-dac502259ad0.png

顯然,在人臉這種比較精細的圖像生成上,AI“讀腦術”還有很長一段路要走。

對于這種大腦信號重建的研究,也有網友提出了質疑。

例如,是否只是AI從訓練數據集中提取出了相似的數據?

6065a292-bb5f-11ed-bfe3-dac502259ad0.png

對此有網友回復表示,論文中的訓練數據集和測試集是分開的:

61890740-bb5f-11ed-bfe3-dac502259ad0.png

作者們也在項目主頁中表示,代碼很快會開源。可以先期待一下~

6228f7b4-bb5f-11ed-bfe3-dac502259ad0.png

作者介紹

本研究僅兩位作者。

一位是2021年才剛剛成為大阪大學助理教授的Yu Takagi,他主要從事計算神經科學和人工智能的交叉研究。

最近,他同時在牛津大學人腦活動中心和東京大學心理學系利用機器學習技術,來研究復雜決策任務中的動態計算。

另一位是大阪大學教授Shinji Nishimoto,他也是日本腦信息通信融合研究中心的首席研究員。

研究方向為定量理解大腦中的視覺和認知處理,谷歌學術引用3000+次。

那么,你覺得這波AI重建圖像的效果如何?

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 成像技術
    +關注

    關注

    4

    文章

    302

    瀏覽量

    31716
  • 人工智能
    +關注

    關注

    1804

    文章

    48645

    瀏覽量

    246132

原文標題:CVPR 2023 | 大腦視覺信號被Stable Diffusion復現成圖像!"AI讀腦術"來了!

文章出處:【微信號:CVer,微信公眾號:CVer】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    工業相機圖像采集卡:機器視覺的核心樞紐

    工業相機圖像采集卡是用于連接工業相機與計算機的關鍵硬件設備,主要負責將相機輸出的圖像信號轉換為計算機可處理的數字信號,并實現高速、穩定的數據傳輸。它在工業自動化、機器
    的頭像 發表于 05-21 12:13 ?70次閱讀
    工業相機<b class='flag-5'>圖像</b>采集卡:機器<b class='flag-5'>視覺</b>的核心樞紐

    基于LockAI視覺識別模塊:C++圖像的基本運算

    圖像處理中,理解圖像的基本操作是掌握計算機視覺技術的關鍵。本文章將介紹基于LockAI視覺識別模塊下OpenCV中圖像的基本運算方法,包括
    的頭像 發表于 05-06 16:20 ?87次閱讀
    基于LockAI<b class='flag-5'>視覺</b>識別模塊:C++<b class='flag-5'>圖像</b>的基本運算

    ?Diffusion生成式動作引擎技術解析

    Diffusion生成式動作引擎 Diffusion生成式動作引擎是一種基于擴散模型(Diffusion Models)的生成式人工智能技術,專注于生成連續、逼真的人類動作或動畫序列。這類引擎在游戲
    的頭像 發表于 03-17 15:14 ?1536次閱讀

    使用OpenVINO GenAI和LoRA適配器進行圖像生成

    借助生成式 AI 模型(如 Stable Diffusion 和 FLUX.1),用戶可以將平平無奇的文本提示詞轉換為令人驚艷的視覺效果。
    的頭像 發表于 03-12 13:49 ?583次閱讀
    使用OpenVINO GenAI和LoRA適配器進行<b class='flag-5'>圖像</b>生成

    安裝OpenVINO?工具包穩定擴散后報錯,怎么解決?

    :\\stable-openvino2\\stable-diffusion-webui-master\\venv\\lib\\site-packages\\diffusers\\models
    發表于 03-05 06:56

    如何開啟Stable Diffusion WebUI模型推理部署

    如何開啟Stable Diffusion WebUI模型推理部署
    的頭像 發表于 12-11 20:13 ?443次閱讀
    如何開啟<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> WebUI模型推理部署

    圖像信號處理板設計原理圖:531-基于3U PXIe 的ZU7EV的通用主控板

    ZU7EV板卡 , 雷達信號處理 , 視覺處理卡 , 3U PXIe , 圖像信號分析
    的頭像 發表于 09-30 11:27 ?591次閱讀
    <b class='flag-5'>圖像</b><b class='flag-5'>信號</b>處理板設計原理圖:531-基于3U PXIe 的ZU7EV的通用主控板

    圖像采集卡不斷發展和改進,為視覺系統提供更大的價值

    圖像采集卡最初是為了從模擬機器視覺相機中獲取原始圖像而開發的,人們曾一度預計該技術將被直接連接到電腦的技術所取代。然而,經驗卻并非如此。圖像采集卡不斷發展和改進,為
    的頭像 發表于 09-30 11:10 ?414次閱讀
    <b class='flag-5'>圖像</b>采集卡不斷發展和改進,為<b class='flag-5'>視覺</b>系統提供更大的價值

    圖像采集卡:增強視覺數據采集

    圖像采集卡介紹:在視覺數據采集領域,圖像采集卡在捕獲和處理來自各種來源的圖像或視頻方面發揮著關鍵作用。在本文中,我們將深入探討圖像采集卡的世
    的頭像 發表于 09-24 11:06 ?569次閱讀
    <b class='flag-5'>圖像</b>采集卡:增強<b class='flag-5'>視覺</b>數據采集

    示波器的波形存儲與復現,再也不怕瞬時信號抓不住了

    示波器和虛擬USB示波器來進行。Chrent臺式示波器的波形存儲與復現使用信號源模擬一個信號。通過BNC線將這個信號連接到示波器上。在示
    的頭像 發表于 09-05 08:06 ?3127次閱讀
    示波器的波形存儲與<b class='flag-5'>復現</b>,再也不怕瞬時<b class='flag-5'>信號</b>抓不住了

    實操: 如何在AirBox上跑Stable Diffusion 3

    StableDiffusion3Medium是一種多模態擴散變換器(MMDiT)文本到圖像模型,在圖像質量、排版、復雜提示理解和資源效率方面具有顯著提升的性能。目前瑞莎團隊
    的頭像 發表于 07-23 08:34 ?502次閱讀
    實操: 如何在AirBox上跑<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> 3

    計算機視覺圖像處理的區別和聯系

    計算機視覺圖像處理是兩個密切相關但又有明顯區別的領域。 1. 基本概念 1.1 計算機視覺 計算機視覺是一門研究如何使計算機能夠理解和解釋視覺
    的頭像 發表于 07-09 09:16 ?2066次閱讀

    計算機視覺怎么給圖像分類

    圖像分類是計算機視覺領域中的一項核心任務,其目標是將輸入的圖像自動分配到預定義的類別集合中。這一過程涉及圖像的特征提取、特征表示以及分類器的設計與訓練。隨著深度學習技術的飛速發展,
    的頭像 發表于 07-08 17:06 ?1504次閱讀

    機器視覺系統如何選擇圖像傳感器

    圖像傳感器是所有機器視覺(MV)系統的核心,這是負責將物理世界的信息轉換為數字數據的基本元件,在確保機器視覺操作的準確性、可靠性和高效率方面起到了關鍵作用。在這篇博文中,安森美探討了為機器視覺
    的頭像 發表于 07-05 10:49 ?845次閱讀

    機器視覺圖像采集卡及其使用接口概述

    本文我們將研究機器視覺圖像采集器及其使用的各種接口。首先,我們將概述外圍計算機卡,然后探討圖像采集器中使用的不同類型的機器視覺接口。讓我們從一個常見的問題開始:什么是外圍計算機卡,以及
    的頭像 發表于 06-27 18:15 ?843次閱讀
    機器<b class='flag-5'>視覺</b><b class='flag-5'>圖像</b>采集卡及其使用接口概述