女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

電子發(fā)燒友App

硬聲App

搜索歷史

清空
搜索熱詞
      0
      • 聊天消息
      • 系統(tǒng)消息
      • 評(píng)論與回復(fù)
      VIP于 到期 續(xù)費(fèi)
      登錄后你可以
      • 下載海量資料
      • 學(xué)習(xí)在線課程
      • 觀看技術(shù)視頻
      • 寫文章/發(fā)帖/加入社區(qū)
      會(huì)員中心
      創(chuàng)作中心
      發(fā)布
      創(chuàng)作活動(dòng)

      完善資料讓更多小伙伴認(rèn)識(shí)你，還能領(lǐng)取20積分哦，立即完善>

      3天內(nèi)不再提示
      創(chuàng)作
      電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>PyTorch教程11.5之多頭注意力

      PyTorch教程11.5之多頭注意力

      2023-06-05 | pdf | 0.14 MB | 次下載 | 免費(fèi)

      資料介紹

      在實(shí)踐中，給定一組相同的查詢、鍵和值，我們可能希望我們的模型結(jié)合來自同一注意機(jī)制的不同行為的知識(shí)，例如捕獲各種范圍的依賴關(guān)系（例如，較短范圍與較長(zhǎng)范圍）在一個(gè)序列中。因此，這可能是有益的
      允許我們的注意力機(jī)制聯(lián)合使用查詢、鍵和值的不同表示子空間。

      為此，可以使用以下方式轉(zhuǎn)換查詢、鍵和值，而不是執(zhí)行單個(gè)注意力池h獨(dú)立學(xué)習(xí)線性投影。那么這些h投影查詢、鍵和值被并行輸入注意力池。到底，h 注意池的輸出與另一個(gè)學(xué)習(xí)的線性投影連接并轉(zhuǎn)換以產(chǎn)生最終輸出。這種設(shè)計(jì)稱為多頭注意力，其中每個(gè)hattention pooling outputs 是一個(gè)頭 （Vaswani et al. , 2017）。使用全連接層執(zhí)行可學(xué)習(xí)的線性變換，圖 11.5.1描述了多頭注意力。

      ../_images/多頭注意力.svg

      圖 11.5.1多頭注意力，其中多個(gè)頭連接起來然后進(jìn)行線性變換。

      import math
import torch
from torch import nn
from d2l import torch as d2l

      import math
from mxnet import autograd, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

      import jax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

      No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)

      import tensorflow as tf
from d2l import tensorflow as d2l

      11.5.1。模型

      在提供多頭注意力的實(shí)現(xiàn)之前，讓我們從數(shù)學(xué)上形式化這個(gè)模型。給定一個(gè)查詢 q∈Rdq， 關(guān)鍵 k∈Rdk和一個(gè)值 v∈Rdv, 每個(gè)注意力頭 hi(i=1,…,h) 被計(jì)算為

      (11.5.1)hi=f(Wi(q)q,Wi(k)k,Wi(v)v)∈Rpv,

      其中可學(xué)習(xí)參數(shù) Wi(q)∈Rpq×dq, Wi(k)∈Rpk×dk和 Wi(v)∈Rpv×dv， 和f是注意力集中，例如11.3 節(jié)中的附加注意力和縮放點(diǎn)積注意力。多頭注意力輸出是另一種通過可學(xué)習(xí)參數(shù)進(jìn)行的線性變換Wo∈Rpo×hpv的串聯(lián)h負(fù)責(zé)人：

      (11.5.2)Wo[h1?hh]∈Rpo.

      基于這種設(shè)計(jì)，每個(gè)頭可能會(huì)關(guān)注輸入的不同部分。可以表達(dá)比簡(jiǎn)單加權(quán)平均更復(fù)雜的函數(shù)。

      11.5.2。執(zhí)行

      在我們的實(shí)現(xiàn)中，我們?yōu)槎囝^注意力的每個(gè)頭選擇縮放的點(diǎn)積注意力。為了避免計(jì)算成本和參數(shù)化成本的顯著增長(zhǎng)，我們?cè)O(shè)置 pq=pk=pv=po/h


      下載該資料的人也在下載 下載該資料的人還在閱讀
      更多 >

      評(píng)論

      查看更多

      下載排行

      本周

      1. 1山景DSP芯片AP8248A2數(shù)據(jù)手冊(cè)
      2. 1.06 MB  |  532次下載  |  免費(fèi)
      3. 2RK3399完整板原理圖（支持平板，盒子VR）
      4. 3.28 MB  |  339次下載  |  免費(fèi)
      5. 3TC358743XBG評(píng)估板參考手冊(cè)
      6. 1.36 MB  |  330次下載  |  免費(fèi)
      7. 4DFM軟件使用教程
      8. 0.84 MB  |  295次下載  |  免費(fèi)
      9. 5元宇宙深度解析—未來的未來-風(fēng)口還是泡沫
      10. 6.40 MB  |  227次下載  |  免費(fèi)
      11. 6迪文DGUS開發(fā)指南
      12. 31.67 MB  |  194次下載  |  免費(fèi)
      13. 7元宇宙底層硬件系列報(bào)告
      14. 13.42 MB  |  182次下載  |  免費(fèi)
      15. 8FP5207XR-G1中文應(yīng)用手冊(cè)
      16. 1.09 MB  |  178次下載  |  免費(fèi)

      本月

      1. 1OrCAD10.5下載OrCAD10.5中文版軟件
      2. 0.00 MB  |  234315次下載  |  免費(fèi)
      3. 2555集成電路應(yīng)用800例(新編版)
      4. 0.00 MB  |  33566次下載  |  免費(fèi)
      5. 3接口電路圖大全
      6. 未知  |  30323次下載  |  免費(fèi)
      7. 4開關(guān)電源設(shè)計(jì)實(shí)例指南
      8. 未知  |  21549次下載  |  免費(fèi)
      9. 5電氣工程師手冊(cè)免費(fèi)下載(新編第二版pdf電子書)
      10. 0.00 MB  |  15349次下載  |  免費(fèi)
      11. 6數(shù)字電路基礎(chǔ)pdf(下載)
      12. 未知  |  13750次下載  |  免費(fèi)
      13. 7電子制作實(shí)例集錦 下載
      14. 未知  |  8113次下載  |  免費(fèi)
      15. 8《LED驅(qū)動(dòng)電路設(shè)計(jì)》 溫德爾著
      16. 0.00 MB  |  6656次下載  |  免費(fèi)

      總榜

      1. 1matlab軟件下載入口
      2. 未知  |  935054次下載  |  免費(fèi)
      3. 2protel99se軟件下載(可英文版轉(zhuǎn)中文版)
      4. 78.1 MB  |  537798次下載  |  免費(fèi)
      5. 3MATLAB 7.1 下載 (含軟件介紹)
      6. 未知  |  420027次下載  |  免費(fèi)
      7. 4OrCAD10.5下載OrCAD10.5中文版軟件
      8. 0.00 MB  |  234315次下載  |  免費(fèi)
      9. 5Altium DXP2002下載入口
      10. 未知  |  233046次下載  |  免費(fèi)
      11. 6電路仿真軟件multisim 10.0免費(fèi)下載
      12. 340992  |  191187次下載  |  免費(fèi)
      13. 7十天學(xué)會(huì)AVR單片機(jī)與C語言視頻教程 下載
      14. 158M  |  183279次下載  |  免費(fèi)
      15. 8proe5.0野火版下載(中文版免費(fèi)下載)
      16. 未知  |  138040次下載  |  免費(fèi)