女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

用于語言和視覺處理的高效 Transformer能在多種語言和視覺任務(wù)中帶來優(yōu)異效果

NVIDIA英偉達(dá) ? 來源:NVIDIA英偉達(dá) ? 作者:NVIDIA英偉達(dá) ? 2021-12-28 10:42 ? 次閱讀

白皮書《Transformer-LS:用于語言和視覺處理的高效 Transformer》中提出了“長-短 Transformer” (Transformer-LS),這是一種高效的 Transformer 架構(gòu),用于為語言和視覺任務(wù)模擬中具有線性復(fù)雜度的長序列。

鑒于 Transformer 的模型在自然語言處理 (NLP) 和計算機(jī)視覺領(lǐng)域已經(jīng)取得了巨大的成功。這種模型可受益于自注意力模塊,后者既可捕獲詞元間的相鄰相關(guān)性和長距離相關(guān)性,同時又能在現(xiàn)代硬件上高效擴(kuò)展。

然而,自注意力機(jī)制所消耗的時間和內(nèi)存與輸入長度呈二次方關(guān)系,使其處理長序列的成本非常高昂。許多語言和視覺任務(wù)能夠從長序列建模中獲益。在 NLP 中,文檔級任務(wù)需要處理較長的文章,而語言模型的性能往往隨序列長度而增加。

在計算機(jī)視覺里,大量任務(wù)涉及高分辨率圖像。而這些圖像在使用 Transformer 模型處理前,會被轉(zhuǎn)換成圖像塊的長序列。因此,設(shè)計一種能泛化到各種不同領(lǐng)域的長序列建模的高效注意力機(jī)制至關(guān)重要。

一直以來,業(yè)界提出了各種方法來減少完全注意力機(jī)制的二次方成本。但是,在語言和視覺領(lǐng)域都有良好應(yīng)用的高效注意力機(jī)制尚未得到深入研究。一類方法使用滑動窗口和隨機(jī)稀疏模式等預(yù)定義模式對注意力矩陣進(jìn)行稀疏化處理。

這類方法使用強(qiáng)大的歸納偏置來改善計算性能和模型性能,但它們會限制自注意力層的能力,因?yàn)槊總€特定分詞器只能處理一個詞元子集。

另一類方法使用 low-rank 投影為輸入序列構(gòu)成低分辨率表示,但這類方法只能對特定的 NLP 任務(wù)有效。與稀疏注意力不同,這類方法允許每個分詞器處理整個輸入序列。但是,由于缺少高保真度詞元級信息,對于需要細(xì)粒度局部信息的任務(wù)(包括語言領(lǐng)域和視覺領(lǐng)域的標(biāo)準(zhǔn)基準(zhǔn)測試)而言,這類方法的性能有時并不優(yōu)于完全注意力或稀釋注意力機(jī)制。

盡管高效 Transformer 的發(fā)展相當(dāng)迅速,一些提出的架構(gòu)只適用于雙向模型?;?Transformer 的自回歸模型已經(jīng)在語言建模 、圖像合成 和文本轉(zhuǎn)圖像合成領(lǐng)域取得了巨大的成功。這些領(lǐng)域都涉及長文本或高分辨率圖像。

因此,有必要設(shè)計一種同時適用于自回歸模型和雙向模型的高效 Transformer。

在白皮書《Transformer-LS:用于語言和視覺處理的高效 Transformer》中,研究把局部窗口注意力和新穎的長距離注意力統(tǒng)一成單個高效注意力機(jī)制。展示這兩種注意力機(jī)制的互補(bǔ)效應(yīng),能在多種語言和視覺任務(wù)中為自回歸模型和雙向模型帶來優(yōu)異的效果。

原文標(biāo)題:白皮書 | 《Transformer-LS:用于語言和視覺處理的高效Transformer》

文章出處:【微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 計算機(jī)視覺
    +關(guān)注

    關(guān)注

    9

    文章

    1706

    瀏覽量

    46547
  • Transformer
    +關(guān)注

    關(guān)注

    0

    文章

    148

    瀏覽量

    6375

原文標(biāo)題:白皮書 | 《Transformer-LS:用于語言和視覺處理的高效Transformer》

文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    ?VLM(視覺語言模型)?詳細(xì)解析

    的詳細(xì)解析: 1. 核心組成與工作原理 視覺編碼器 :提取圖像特征,常用CNN(如ResNet)或視覺Transformer(ViT)。 語言模型 :
    的頭像 發(fā)表于 03-17 15:32 ?2484次閱讀
    ?VLM(<b class='flag-5'>視覺</b><b class='flag-5'>語言</b>模型)?詳細(xì)解析

    一文詳解視覺語言模型

    視覺語言模型(VLM)是一種多模態(tài)、生成式 AI 模型,能夠理解和處理視頻、圖像和文本。
    的頭像 發(fā)表于 02-12 11:13 ?1437次閱讀
    一文詳解<b class='flag-5'>視覺</b><b class='flag-5'>語言</b>模型

    語言模型開發(fā)語言是什么

    在人工智能領(lǐng)域,大語言模型(Large Language Models, LLMs)背后,離不開高效的開發(fā)語言和工具的支持。下面,AI部落小編為您介紹大語言模型開發(fā)所依賴的主要編程
    的頭像 發(fā)表于 12-04 11:44 ?562次閱讀

    串口屏支持哪些編程語言和開發(fā)環(huán)境?

    串口屏作為一種常用的顯示和交互設(shè)備,支持多種編程語言和開發(fā)環(huán)境。以下是對串口屏支持的編程語言和開發(fā)環(huán)境的詳細(xì)歸納:
    的頭像 發(fā)表于 11-13 11:45 ?629次閱讀
    串口屏支持哪些編程<b class='flag-5'>語言和</b>開發(fā)環(huán)境?

    MCU編程語言和開發(fā)環(huán)境介紹

    微控制器單元(Microcontroller Unit,簡稱MCU)是嵌入式系統(tǒng)的核心,廣泛應(yīng)用于各種電子產(chǎn)品。隨著技術(shù)的發(fā)展,MCU編程語言和開發(fā)環(huán)境也在不斷進(jìn)步,以適應(yīng)不同的應(yīng)用需求。 1.
    的頭像 發(fā)表于 11-01 11:51 ?1942次閱讀

    C語言和C++結(jié)構(gòu)體的區(qū)別

    同樣是結(jié)構(gòu)體,看看在C語言和C++中有什么區(qū)別?
    的頭像 發(fā)表于 10-30 15:11 ?637次閱讀

    C語言與Java語言的對比

    C語言和Java語言都是當(dāng)前編程領(lǐng)域中的重要成員,它們各自具有獨(dú)特的優(yōu)勢和特點(diǎn),適用于不同的應(yīng)用場景。以下將從語法特性、內(nèi)存管理、跨平臺性、性能、應(yīng)用領(lǐng)域等多個方面對C語言和Java
    的頭像 發(fā)表于 10-29 17:31 ?911次閱讀

    Apple Intelligence有望在明年4月實(shí)現(xiàn)多種語言支持

    10月29日最新資訊,蘋果公司官方宣布,其人工智能計劃Apple Intelligence即將在未來數(shù)年間顯著擴(kuò)大語言覆蓋范圍,目標(biāo)是在2025年4月前實(shí)現(xiàn)對包括中文在內(nèi)的多種語言的支持。
    的頭像 發(fā)表于 10-29 14:32 ?614次閱讀

    TMS320LF240x DSP的C語言和匯編代碼快速入門

    電子發(fā)燒友網(wǎng)站提供《TMS320LF240x DSP的C語言和匯編代碼快速入門.pdf》資料免費(fèi)下載
    發(fā)表于 10-18 10:14 ?1次下載
    TMS320LF240x DSP的C<b class='flag-5'>語言和</b>匯編代碼快速入門

    【《大語言模型應(yīng)用指南》閱讀體驗(yàn)】+ 基礎(chǔ)知識學(xué)習(xí)

    的表達(dá)方式和生成能力。通過預(yù)測文本缺失的部分或下一個詞,模型逐漸掌握語言的規(guī)律和特征。 常用的模型結(jié)構(gòu) Transformer架構(gòu):大語言模型通?;?/div>
    發(fā)表于 08-02 11:03

    鴻蒙語言基礎(chǔ)類庫:system.configuration 應(yīng)用配置

    獲取應(yīng)用當(dāng)前的語言和地區(qū)。默認(rèn)與系統(tǒng)的語言和地區(qū)同步。
    的頭像 發(fā)表于 07-16 09:34 ?522次閱讀

    Transformer語言模型簡介與實(shí)現(xiàn)過程

    在自然語言處理(NLP)領(lǐng)域,Transformer模型以其卓越的性能和廣泛的應(yīng)用前景,成為了近年來最引人注目的技術(shù)之一。Transformer模型由谷歌在2017年提出,并首次應(yīng)
    的頭像 發(fā)表于 07-10 11:48 ?2797次閱讀

    Transformer架構(gòu)在自然語言處理的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,自然語言處理(NLP)領(lǐng)域取得了顯著的進(jìn)步。其中,Transformer架構(gòu)的提出,為NLP領(lǐng)域帶來了革命性的變革。本文將深入探討
    的頭像 發(fā)表于 07-09 11:42 ?1443次閱讀

    nlp神經(jīng)語言和NLP自然語言的區(qū)別和聯(lián)系

    神經(jīng)語言(Neuro-Linguistic Programming,NLP) 神經(jīng)語言是一種心理學(xué)方法,它研究人類思維、語言和行為之間的關(guān)系。NLP的核心理念是,我們可以通過改變我們的思維方式和
    的頭像 發(fā)表于 07-09 10:35 ?1085次閱讀

    PLC編程語言和C語言的區(qū)別

    在工業(yè)自動化和計算機(jī)編程領(lǐng)域中,PLC(可編程邏輯控制器)編程語言和C語言各自扮演著重要的角色。盡管兩者都是編程語言,但它們在多個方面存在顯著的區(qū)別。本文將從多個維度深入探討PLC編程語言和
    的頭像 發(fā)表于 06-14 17:11 ?4334次閱讀