女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

什么是卷積神經(jīng)網(wǎng)絡(luò)(CNN)

jf_78858299 ? 來源:小牛呼嚕嚕 ? 作者:小牛呼嚕嚕 ? 2023-02-09 14:34 ? 次閱讀

以卷積結(jié)構(gòu)為主,搭建起來的深度網(wǎng)絡(luò)(一般都指深層結(jié)構(gòu)的)

CNN目前在很多很多研究領(lǐng)域取得了巨大的成功,例如: 語音識別,圖像識別,圖像分割,自然語言處理等。對于大型圖像處理有出色表現(xiàn)。

一般將圖片作為網(wǎng)絡(luò)的輸入,自動提取特征,并且對圖片的變形(平移,比例縮放)等具有高度不變形

上圖是手寫識別的卷積神經(jīng)網(wǎng)絡(luò)模型,我們可以發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)的重要組成部分:

卷積層、池化層、激活層、BN層、LOSS層、其它層

卷積的基本定義

卷積就是一種運(yùn)算,是對圖像和濾波矩陣做內(nèi)積(逐個元素相乘再求和)的操作。

每一種卷積對應(yīng)一種特征。

其中濾波矩陣在深度學(xué)習(xí)中,我們稱之為卷積核。換句話說,我們一般可以將卷積看成濾波器。比如我們可以通過濾波器對圖像進(jìn)行降噪,圖像的噪點(diǎn)就是高頻信號。在圖像處理中,有很多濾波器可以供我們選擇。每一種濾波器幫助我們提取不同的特征。比如水平/垂直/對角線邊緣等等。

可以看這篇回答 ^[1]^ ,挺通俗易懂的。

卷積層

卷積的核心是卷積核,核就是一組權(quán)重,它決定了一個像素點(diǎn)如何通過周圍的其他像素點(diǎn)計(jì)算獲得新的像素點(diǎn)數(shù)值。核也被稱之為卷積矩陣,它會對一塊區(qū)域的像素做調(diào)和運(yùn)算或卷積運(yùn)算。

一般最常用為2D卷積核(k_w * k_h),如 1x1,3x3, 5x5, 7x7

卷積核的數(shù)值都是奇數(shù),因?yàn)槠鏀?shù)的卷積核有一個中心點(diǎn)

我們可以利用有中心點(diǎn)的特性來保護(hù)圖片位置信息,padding時對稱。

卷積還具有 權(quán)值共享 與 局部連接(局部感受野/局部感知)的特性。

在卷積層中權(quán)值共享是用來控制參數(shù)的數(shù)量。假如在一個卷積核中,每一個感受野采用的都是不同的權(quán)重值(卷積核的值不同),那么這樣的網(wǎng)絡(luò)中參數(shù)數(shù)量將是十分巨大的。

那么感受野是什么?感受野是卷積神經(jīng)網(wǎng)絡(luò)每一層輸出的特征圖(Feature Map)上的像素點(diǎn)在原始圖像上映射的區(qū)域大小。(圖片來源于網(wǎng)絡(luò),侵刪)

神經(jīng)網(wǎng)絡(luò)中,卷積核越大,雖然感受野越大,但參數(shù)越多,結(jié)構(gòu)就越復(fù)雜,越容易過擬合。另一方面,需要更多的數(shù)據(jù)來訓(xùn)練,訓(xùn)練的難度也會更大。所以一般我們采用小卷積核堆加的方式來,保證感知野盡量大,同時結(jié)構(gòu)盡可能簡單,降低計(jì)算量。

Pad

pad可以讓你的輸入圖像不變小,而可以使用更深層的卷積.確保Feature Map整數(shù)倍變化,對尺度敏感的任務(wù)非常重要.

池化層

池化層的作用是對輸入的特征圖錯開行或列,壓縮特征圖大小,降低參數(shù)量和計(jì)算復(fù)雜度,也對特征進(jìn)行了壓縮,提取主要特征,將語義相似的特征融合起來,對微小的平移和形變不敏感。包括平均池化和最大池化和隨機(jī)池化,平均池化領(lǐng)域內(nèi)方差小,更多的保留圖像的背景信息,最大池化領(lǐng)域內(nèi)均值偏移大,更多的保留圖像的紋理信息,隨機(jī)池化(Stochastic Pooling)則介于兩者之間。

值得注意的是:池化層是無參的。

池化層相較于卷積層相對簡單許多。如果圖像太大的時候,就需要減少訓(xùn)練參數(shù)的數(shù)量,池化層須在隨后的卷積層之間周期性地被引進(jìn)。池化的直接目的是為了減少圖像的空間大小。池化在每一個縱深維度上獨(dú)自完成,因此圖像的縱深保持不變。取一小塊區(qū)域,比如一個55的方塊,如果是最大值池化,那就選這25個像素點(diǎn)最大的那個輸出,如果是平均值池化,就把25個像素點(diǎn)取平均輸出。這樣在原來55的一個區(qū)域,現(xiàn)在只要一個值就能表示出來了。池化操作可以看做是一種強(qiáng)制性的模糊策略,不斷強(qiáng)制模糊增加特征的旋轉(zhuǎn)不變性。這樣當(dāng)圖片無論如何旋轉(zhuǎn)時,經(jīng)過池化之后結(jié)果特征都是近似的。

激活層

激活函數(shù)(Activation Function): 如果一旦將線性分量運(yùn)用于輸入,就會需要運(yùn)用一個非線性函數(shù)來組合實(shí)現(xiàn)達(dá)到任意函數(shù)的目的。激活函數(shù)能將輸入信號轉(zhuǎn)換為輸出信號。形如f(x * W+ b)就是應(yīng)用激活函數(shù)后的輸出看起來的樣子,其中f()就是激活函數(shù)。如圖(添加激活函數(shù)后的神經(jīng)元模型):

通俗點(diǎn)講:激活函數(shù) 增加網(wǎng)絡(luò)的非線性,進(jìn)而提高網(wǎng)絡(luò)的表達(dá)能力

基本的常見激活函數(shù)有Sigmoid,ReLU和Softmax,下面簡單介紹一下:

1)Sigmoid:

它會將輸入的數(shù)值壓縮到0到1范圍內(nèi),比較適合輸出需求為概率的情況。但它在神經(jīng)元的激活在接近0或1處時會飽和,在這些區(qū)域時的梯度幾乎為0,這就會導(dǎo)致梯度消失,這就會導(dǎo)致幾乎沒有信號能通過神經(jīng)傳回上一層神經(jīng)層。Sigmoid函數(shù)的輸出不是以零為中心的。如果是以零為中心的話,假設(shè)輸入神經(jīng)元的數(shù)據(jù)總是為正數(shù)的話,那么關(guān)于w的梯度在反向傳播的過程中,將會出現(xiàn)一種情況:要么全是正數(shù),要么全是負(fù)數(shù),這就會導(dǎo)致梯度下降,權(quán)重更新時,出現(xiàn)形如“Z”字型的下降。

下圖:Sigmoid的函數(shù)圖像

2)ReLU:

與Sigmoid激活函數(shù)相比的它具有的獨(dú)特性是:單側(cè)抑制的特性和稀疏激活性。保留了step函數(shù)的生物學(xué)啟發(fā)(只有輸入超出閥值時神經(jīng)元才會被激活) 相較于Sigmoid激活函數(shù),ReLU激活函數(shù)能夠巨大地加速隨機(jī)梯度下降的收斂的速度;但由于ReLU單元比較脆弱,可能導(dǎo)致數(shù)據(jù)多樣性的丟失,且過程是不可逆的。所以使用時,需要謹(jǐn)慎。

3)Softmax:

Softmax激活函數(shù)通常用于輸出層,一般用于問題的分類。與Sigmoid激活函數(shù)相比,輸出被歸一化的總和為1是唯一的區(qū)別,其他就很類似。Sigmoid激活函數(shù)會阻止有二進(jìn)制輸出,當(dāng)遇到一個多類分類問題,Softmax激活函數(shù)會簡單化為每個類分配值的過程。

BatchNorm層

通過歸一化將數(shù)據(jù)分布拉回標(biāo)準(zhǔn)正態(tài)分布,使得梯度一直處于比較大的狀態(tài);同時如果直接歸一化為均值為0方差為1的標(biāo)準(zhǔn)正太分布,就抹掉了前面學(xué)習(xí)的非線性表達(dá)能力,因此在batchnorm的實(shí)現(xiàn)過程中,增加了平移和縮放參數(shù)。保留了非線性。

BatchNorm層的優(yōu)點(diǎn):

  1. 減少了參數(shù)的人為選擇,使得調(diào)參更容易
  2. 初始化要求也沒那么高,減少了對學(xué)習(xí)率的要求,可以使用更大的學(xué)習(xí)率;
  3. 降低了數(shù)據(jù)之間的絕對差異,有去相關(guān)的作用,更多考慮相對差異,有利于分類;
  4. BN是一種正則,可以代替dropout,取消L2正則項(xiàng)參數(shù),或者采取更小的L2正則項(xiàng)約束參數(shù)。
  5. BN本身就是歸一化網(wǎng)絡(luò),一定程度上可以緩解過擬合,解決梯度消失問題。

全連接層

全連接層將學(xué)到的“分布式特征表示”映射到樣本標(biāo)記空間。它是在整個卷積神經(jīng)網(wǎng)絡(luò)中起到“分類器”的作用,將二維空間轉(zhuǎn)化成一維向量,將全連接層的輸出送入分類器或回歸器來做分類和回歸。

Dropout層

Dropout(隨機(jī)失活正則化),是一種正則化方法,通過對網(wǎng)絡(luò)某層的節(jié)點(diǎn)都設(shè)置一個被消除的概率,之后在訓(xùn)練中按照概率隨機(jī)將某些節(jié)點(diǎn)消除掉,以達(dá)到正則化,降低方差的目的。

Dropout層可以解決過擬合問題,取平均的作用,減少神經(jīng)元之間復(fù)雜的共適應(yīng)關(guān)系

常見的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

LeNet、AlexNet、ZFNet、VGGNet、Inception和ResNet和輕量型卷積神經(jīng)網(wǎng)絡(luò)等等(這里就不展開講了,太多了,感興趣自行研究)


卷積的概念展開來講還是太多太深奧了,數(shù)學(xué)公式一大堆,小牛這段時間就簡單學(xué)習(xí)比較常見的部分,有些原理明白但無法用直白的語言寫出來,這部分寫的很吃力也不知道該寫些什么,就把筆記和以前寫的論文部分貼了貼。后面會盡快進(jìn)入代碼部分。(這部分寫起來快自閉了- -)

參考:

《深度學(xué)習(xí)模型微服務(wù)化管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)》

https://mlnotebook.github.io/post/CNN1/ https://zhuanlan.zhihu.com/p/47184529 https://blog.csdn.net/baidu_27643275/article/details/88711329 https://zhuanlan.zhihu.com/p/106142812

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • cnn
    cnn
    +關(guān)注

    關(guān)注

    3

    文章

    354

    瀏覽量

    22622
  • 自然語言處理
    +關(guān)注

    關(guān)注

    1

    文章

    627

    瀏覽量

    13998
  • 卷積神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    4

    文章

    369

    瀏覽量

    12175
收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    使用Python卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行圖像識別的基本步驟

    Python 卷積神經(jīng)網(wǎng)絡(luò)CNN)在圖像識別領(lǐng)域具有廣泛的應(yīng)用。通過使用卷積神經(jīng)網(wǎng)絡(luò),我們可以讓計(jì)算機(jī)從圖像中學(xué)習(xí)特征,從而實(shí)現(xiàn)對圖像的分
    的頭像 發(fā)表于 11-20 11:20 ?7287次閱讀

    TF之CNN:Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)CNN的嘻嘻哈哈事之詳細(xì)攻略

    TF之CNN:Tensorflow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)CNN的嘻嘻哈哈事之詳細(xì)攻略
    發(fā)表于 12-19 17:03

    利用Keras實(shí)現(xiàn)四種卷積神經(jīng)網(wǎng)絡(luò)(CNN)可視化

    Keras實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)可視化
    發(fā)表于 07-12 11:01

    卷積神經(jīng)網(wǎng)絡(luò)CNN介紹

    【深度學(xué)習(xí)】卷積神經(jīng)網(wǎng)絡(luò)CNN
    發(fā)表于 06-14 18:55

    卷積神經(jīng)網(wǎng)絡(luò)CNN)是如何定義的?

    什么是卷積神經(jīng)網(wǎng)絡(luò)?ImageNet-2010網(wǎng)絡(luò)結(jié)構(gòu)是如何構(gòu)成的?有哪些基本參數(shù)?
    發(fā)表于 06-17 11:48

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)的參數(shù)優(yōu)化方法

    的結(jié)論和做實(shí)驗(yàn)所得到的結(jié)果。我想Michael的實(shí)驗(yàn)結(jié)果更有說服力一些。本書在github上有中文翻譯的版本, 前言 最近卷積神經(jīng)網(wǎng)絡(luò)CNN)很火熱,它在圖像分類領(lǐng)域的卓越表現(xiàn)引起了大家的廣泛關(guān)注
    發(fā)表于 11-10 14:49 ?6019次閱讀

    14種模型設(shè)計(jì)幫你改進(jìn)你的卷積神經(jīng)網(wǎng)絡(luò)(CNN)

    這14 種原創(chuàng)設(shè)計(jì)模式可以幫助沒有經(jīng)驗(yàn)的研究者去嘗試將深度學(xué)習(xí)與新應(yīng)用結(jié)合,對于那些沒有機(jī)器學(xué)習(xí)博士學(xué)位的人來說是一個很好的起點(diǎn)。 自2011年以來,深度卷積神經(jīng)網(wǎng)絡(luò)CNN)在圖像分類的工作中
    的頭像 發(fā)表于 06-26 12:06 ?6194次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)的簡單介紹及代碼實(shí)現(xiàn)

    卷積神經(jīng)網(wǎng)絡(luò)(CNN)的基礎(chǔ)介紹見 ,這里主要以代碼實(shí)現(xiàn)為主。 CNN是一個多層的神經(jīng)網(wǎng)絡(luò),每層由多個二維平面組成,而每個平面由多個獨(dú)立
    發(fā)表于 11-15 12:27 ?2w次閱讀
    <b class='flag-5'>卷積</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b>(<b class='flag-5'>CNN</b>)的簡單介紹及代碼實(shí)現(xiàn)

    卷積神經(jīng)網(wǎng)絡(luò)CNN圖解

    之前在網(wǎng)上搜索了好多好多關(guān)于CNN的文章,由于網(wǎng)絡(luò)上的文章很多斷章取義或者描述不清晰,看了很多youtobe上面的教學(xué)視頻還是沒有弄懂,最后經(jīng)過痛苦漫長的煎熬之后對于神經(jīng)網(wǎng)絡(luò)卷積有了
    發(fā)表于 11-16 13:18 ?5.8w次閱讀
    <b class='flag-5'>卷積</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b><b class='flag-5'>CNN</b>圖解

    卷積神經(jīng)網(wǎng)絡(luò)CNN架構(gòu)分析-LeNet

    對于神經(jīng)網(wǎng)絡(luò)卷積有了粗淺的了解,關(guān)于CNN 卷積神經(jīng)網(wǎng)絡(luò),需要總結(jié)深入的知識有很多:人工神經(jīng)網(wǎng)絡(luò)
    發(fā)表于 11-16 13:28 ?2973次閱讀
    <b class='flag-5'>卷積</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b><b class='flag-5'>CNN</b>架構(gòu)分析-LeNet

    簡單快捷地用小型Xiliinx FPGA加速卷積神經(jīng)網(wǎng)絡(luò)CNN

    剛好在知乎上看到這個問題?如何用FPGA加速卷積神經(jīng)網(wǎng)絡(luò)CNN,恰巧我的碩士畢業(yè)設(shè)計(jì)做的就是在FPGA上實(shí)現(xiàn)CNN的架構(gòu),在此和大家分享。 先說一下背景,這個項(xiàng)目的目標(biāo)硬件是Xilin
    的頭像 發(fā)表于 06-29 07:55 ?5019次閱讀
    簡單快捷地用小型Xiliinx FPGA加速<b class='flag-5'>卷積</b><b class='flag-5'>神經(jīng)網(wǎng)絡(luò)</b><b class='flag-5'>CNN</b>

    卷積神經(jīng)網(wǎng)絡(luò)CNN架構(gòu)分析 - LeNet

    之前在網(wǎng)上搜索了好多好多關(guān)于CNN的文章,由于網(wǎng)絡(luò)上的文章很多斷章取義或者描述不清晰,看了很多youtobe上面的教學(xué)視頻還是沒有弄懂,最后經(jīng)過痛苦漫長的煎熬之后對于神經(jīng)網(wǎng)絡(luò)卷積有了
    發(fā)表于 10-02 07:41 ?761次閱讀

    MATLAB實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CNN的源代碼

    MATLAB實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)CNN的源代碼
    發(fā)表于 04-21 10:15 ?16次下載

    python卷積神經(jīng)網(wǎng)絡(luò)cnn的訓(xùn)練算法

    python卷積神經(jīng)網(wǎng)絡(luò)cnn的訓(xùn)練算法? 卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,
    的頭像 發(fā)表于 08-21 16:41 ?1954次閱讀

    cnn卷積神經(jīng)網(wǎng)絡(luò)原理 cnn卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是什么

    cnn卷積神經(jīng)網(wǎng)絡(luò)原理 cnn卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是什么?
    的頭像 發(fā)表于 08-21 17:15 ?1982次閱讀