女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度神經(jīng)決策樹:深度神經(jīng)網(wǎng)絡(luò)和樹模型結(jié)合的新模型

nlfO_thejiangme ? 來源:未知 ? 作者:工程師郭婷 ? 2018-08-19 09:14 ? 次閱讀

近日,來自愛丁堡大學(xué)的研究人員提出了一種結(jié)合深度神經(jīng)網(wǎng)絡(luò)和樹模型的新型模型——深度神經(jīng)決策樹(Deep Neural Decision Trees, DNDT)。

這種模型不僅具有了基于樹模型的可解釋性的優(yōu)點(diǎn),同時還可以利用神經(jīng)網(wǎng)絡(luò)中的梯度下降法來進(jìn)行訓(xùn)練,并可方便地利用現(xiàn)有的神經(jīng)網(wǎng)絡(luò)框架實(shí)現(xiàn),將使得神經(jīng)網(wǎng)絡(luò)的過程得以用樹的方式得到有效的解釋。論文的作者均來自于愛丁堡大學(xué)信息學(xué)院感知、運(yùn)動和行為研究所ipab。

對于感知模型來說可解釋性是十分重要的,特別是在一些涉及倫理、法律、醫(yī)學(xué)和金融等場景下尤其如此,同樣在關(guān)鍵領(lǐng)域的控制中,我們希望能夠回溯所有的步驟來保證模型因果邏輯和結(jié)果的正確性。深度神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺語音識別和語言模型等很多領(lǐng)域取得了成功,但作為缺乏可解釋性的黑箱模型,限制了它在模型必須求證因果領(lǐng)域的應(yīng)用,在這些領(lǐng)域中我們需要明確決策是如何產(chǎn)生的以便評測驗(yàn)證整個決策過程。除此之外,在類似于商業(yè)智能等領(lǐng)域,知曉每一個因素是如何影響最終決策比決策本身有時候更為重要。與此不同的是,基于決策樹模型(包括C4.5和CART等)擁有清晰的可解釋性,可以追隨樹的結(jié)構(gòu)回溯出決策產(chǎn)生的因由。

愛丁堡大學(xué)的研究人員們基于樹和神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)提出了一種新型的模型——深度神經(jīng)決策樹(DNDT),并探索了樹和網(wǎng)絡(luò)之間的相互作用。DNDT是一種具有特殊結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò),任意一種配置下的DNDT都對應(yīng)著決策樹,這使其具有了可解釋性。同時由于DNDT實(shí)現(xiàn)自神經(jīng)網(wǎng)絡(luò),使得它擁有了很多傳統(tǒng)決策樹不曾具有的特性:

1.DNDT可以通過已有的神經(jīng)網(wǎng)絡(luò)工具便捷的實(shí)現(xiàn),可能只需要幾行即可;

一個實(shí)現(xiàn)的例子

2.所有的參數(shù)可以通過隨機(jī)梯度下降法(SGD)同時優(yōu)化,代替了復(fù)雜的貪婪優(yōu)化過程;

3.具有大規(guī)模處理數(shù)據(jù)的能力,可以利用mini-batch和GPU加速;

4.可以作為一個模塊插入到現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型中,并整體訓(xùn)練。

在這種網(wǎng)絡(luò)中研究人員們使用了一種稱為soft binning function的函數(shù),并將它用于DNDT中的分支操作。一個典型的soft binning函數(shù)可以得到輸入標(biāo)量的二進(jìn)制值,與Hard binning不同的是,這是一種可微的近似。這使得決策樹中的的參數(shù)是可導(dǎo)的,也就可以利用梯度下降法來進(jìn)行訓(xùn)練了。下式是MDMT中的一層神經(jīng)元表示:

深度神經(jīng)決策樹:深度神經(jīng)網(wǎng)絡(luò)和樹模型結(jié)合的新模型

其中w為權(quán)重參數(shù)[1,2,。。。,n+1],b表示為[0,-β1,-β2...-βn],代表了n個分支點(diǎn)。式中的τ代表了溫度因子,其趨向于0時將為生成one-hot編碼。下圖是不同τ作用下的softbinning函數(shù):

其中x在[0,1]區(qū)間內(nèi),此時的分割點(diǎn)為0.33和0.66,三個圖分別代表了τ為1,0,1和0.01的情況,越小意味著分支越陡峭。其中,

o1 = x

o2 = 2x-0.33

o3 = 3x-0.99

在決策過程中,通過上式給出的二進(jìn)制函數(shù)利用克羅內(nèi)克內(nèi)積來實(shí)現(xiàn),下圖中顯示了DNDT在Iris數(shù)據(jù)集上的學(xué)習(xí)過程,上半部分描述了深度神經(jīng)決策樹的運(yùn)行過程,其中紅色表示為可訓(xùn)練的變量,黑色數(shù)字為常量。下半部分作為對比顯示了先前決策樹的分類過程。

通過本文提出的方法,研究人員將決策樹的訓(xùn)練過程轉(zhuǎn)換為了訓(xùn)練二進(jìn)制分支點(diǎn)和葉子分類器。同時由于前傳過程是可微的,所以所有的點(diǎn)都可以同時利用SGD的方法來訓(xùn)練。由于可以利用與神經(jīng)網(wǎng)絡(luò)類似的mini-batch,DNDT可以便捷的實(shí)例規(guī)模化。但目前存在的問題是克羅內(nèi)克積的存在使得特征的規(guī)模化不易實(shí)現(xiàn)。目前的解決方案是引入多棵樹來來訓(xùn)練特征集中的子特征組合,避免了較“寬”的數(shù)據(jù)。

研究人員通過實(shí)驗(yàn)驗(yàn)證了中模型的有效性,在常見的14個數(shù)據(jù)集上(特別是Tabular類型的數(shù)據(jù))取得了較好的結(jié)果。其中決策樹使用了超參數(shù),“基尼”尺度和“best”分支;神經(jīng)網(wǎng)絡(luò)使用了兩個隱藏層共50個神經(jīng)元作為基準(zhǔn)。而DNDT則使用了1最為分支點(diǎn)數(shù)目的超參數(shù)。

研究顯示DNDT模型隨著分割點(diǎn)的增加,整體激活的比重卻在下降,顯示了這種模型具有正則化的作用。

同時研究還顯示了分割點(diǎn)數(shù)量對于每一個特征的影響;

并利用了GPU來對計算過程進(jìn)行了加速。

在未來還會探索DNDT與CNN的結(jié)合與應(yīng)用,并將SGD應(yīng)用到整個模型的全局優(yōu)化中去,并嘗試基于決策樹的遷移學(xué)習(xí)過程。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4809

    瀏覽量

    102826
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    28

    文章

    4912

    瀏覽量

    130677
  • 決策樹
    +關(guān)注

    關(guān)注

    3

    文章

    96

    瀏覽量

    13777

原文標(biāo)題:愛丁堡大學(xué)研究人員提出「深度神經(jīng)決策樹」,可結(jié)合深度神經(jīng)網(wǎng)絡(luò)和樹模型

文章出處:【微信號:thejiangmen,微信公眾號:將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的關(guān)系

    BP神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)之間存在著密切的關(guān)系,以下是對它們之間關(guān)系的介紹: 一、BP神經(jīng)網(wǎng)絡(luò)的基本概念 BP神經(jīng)網(wǎng)絡(luò),即反向傳播神經(jīng)網(wǎng)絡(luò)(Ba
    的頭像 發(fā)表于 02-12 15:15 ?724次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型量化的基本方法

    深度神經(jīng)網(wǎng)絡(luò)模型量化是深度學(xué)習(xí)領(lǐng)域中的一種重要優(yōu)化技術(shù),旨在通過減少模型參數(shù)的精度(即從高精度浮點(diǎn)數(shù)如32位浮點(diǎn)數(shù)FP32降低到低精度整數(shù)如
    的頭像 發(fā)表于 07-15 11:26 ?1214次閱讀

    殘差網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)

    殘差網(wǎng)絡(luò)(Residual Network,通常簡稱為ResNet) 是深度神經(jīng)網(wǎng)絡(luò)的一種 ,其獨(dú)特的結(jié)構(gòu)設(shè)計在解決深層網(wǎng)絡(luò)訓(xùn)練中的梯度消失和梯度爆炸問題上取得了顯著的突破,并因此成為
    的頭像 發(fā)表于 07-11 18:13 ?1513次閱讀

    pytorch中有神經(jīng)網(wǎng)絡(luò)模型

    當(dāng)然,PyTorch是一個廣泛使用的深度學(xué)習(xí)框架,它提供了許多預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型。 PyTorch中的神經(jīng)網(wǎng)絡(luò)模型 1. 引言
    的頭像 發(fā)表于 07-11 09:59 ?1520次閱讀

    PyTorch神經(jīng)網(wǎng)絡(luò)模型構(gòu)建過程

    PyTorch,作為一個廣泛使用的開源深度學(xué)習(xí)庫,提供了豐富的工具和模塊,幫助開發(fā)者構(gòu)建、訓(xùn)練和部署神經(jīng)網(wǎng)絡(luò)模型。在神經(jīng)網(wǎng)絡(luò)模型中,輸出層是
    的頭像 發(fā)表于 07-10 14:57 ?830次閱讀

    基于神經(jīng)網(wǎng)絡(luò)的語言模型有哪些

    文本或預(yù)測文本中的下一個詞。隨著深度學(xué)習(xí)技術(shù)的飛速發(fā)展,涌現(xiàn)出了多種不同類型的神經(jīng)網(wǎng)絡(luò)語言模型。以下將詳細(xì)介紹幾種主流的基于神經(jīng)網(wǎng)絡(luò)的語言模型
    的頭像 發(fā)表于 07-10 11:15 ?1303次閱讀

    rnn是什么神經(jīng)網(wǎng)絡(luò)模型

    RNN(Recurrent Neural Network,循環(huán)神經(jīng)網(wǎng)絡(luò))是一種具有循環(huán)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)模型,它能夠處理序列數(shù)據(jù),并對序列中的元素進(jìn)行建模。RNN在自然語言處理、語音識別、時間序列預(yù)測等
    的頭像 發(fā)表于 07-05 09:50 ?1078次閱讀

    人工神經(jīng)網(wǎng)絡(luò)模型的分類有哪些

    人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks, ANNs)是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的計算模型,它在許多領(lǐng)域,如圖像識別、語音識別、自然語言處理、預(yù)測分析等有著廣泛的應(yīng)用。本文將
    的頭像 發(fā)表于 07-05 09:13 ?2165次閱讀

    深度神經(jīng)網(wǎng)絡(luò)與基本神經(jīng)網(wǎng)絡(luò)的區(qū)別

    在探討深度神經(jīng)網(wǎng)絡(luò)(Deep Neural Networks, DNNs)與基本神經(jīng)網(wǎng)絡(luò)(通常指傳統(tǒng)神經(jīng)網(wǎng)絡(luò)或前向神經(jīng)網(wǎng)絡(luò))的區(qū)別時,我們需
    的頭像 發(fā)表于 07-04 13:20 ?1669次閱讀

    bp神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)

    BP神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network)是一種常見的前饋神經(jīng)網(wǎng)絡(luò),它使用反向傳播算法來訓(xùn)練網(wǎng)絡(luò)。雖然BP神經(jīng)網(wǎng)絡(luò)在某些方面與
    的頭像 發(fā)表于 07-03 10:14 ?1300次閱讀

    基于神經(jīng)網(wǎng)絡(luò)算法的模型構(gòu)建方法

    和應(yīng)用等方面。 1. 引言 神經(jīng)網(wǎng)絡(luò)是一種模擬人腦神經(jīng)元網(wǎng)絡(luò)的計算模型,由大量的節(jié)點(diǎn)(神經(jīng)元)和連接(突觸)組成。神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力,能
    的頭像 發(fā)表于 07-02 11:21 ?957次閱讀

    構(gòu)建神經(jīng)網(wǎng)絡(luò)模型方法有幾種

    構(gòu)建神經(jīng)網(wǎng)絡(luò)模型深度學(xué)習(xí)領(lǐng)域的核心任務(wù)之一。本文將詳細(xì)介紹構(gòu)建神經(jīng)網(wǎng)絡(luò)模型的幾種方法,包括前饗神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-02 10:15 ?769次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型cnn的基本概念、結(jié)構(gòu)及原理

    深度神經(jīng)網(wǎng)絡(luò)模型CNN(Convolutional Neural Network)是一種廣泛應(yīng)用于圖像識別、視頻分析和自然語言處理等領(lǐng)域的深度學(xué)習(xí)
    的頭像 發(fā)表于 07-02 10:11 ?1.1w次閱讀

    深度神經(jīng)網(wǎng)絡(luò)有哪些主要模型?各自的優(yōu)勢和功能是什么?

    神經(jīng)網(wǎng)絡(luò)模型及其優(yōu)勢和功能: 多層感知器(Multilayer Perceptron, MLP) 多層感知器是一種基本的深度神經(jīng)網(wǎng)絡(luò),由多個全連接層組成。每個隱藏層包含多個
    的頭像 發(fā)表于 07-02 10:01 ?3861次閱讀

    深度神經(jīng)網(wǎng)絡(luò)模型有哪些

    模型: 多層感知器(Multilayer Perceptron,MLP): 多層感知器是最基本的深度神經(jīng)網(wǎng)絡(luò)模型,由多個全連接層組成。每個隱藏層的
    的頭像 發(fā)表于 07-02 10:00 ?2314次閱讀