女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

萬用NLP模型Transformer的升級版

DPVg_AI_era ? 來源:lq ? 2019-02-11 09:37 ? 次閱讀

谷歌官方博客今天發文,詳細解釋了萬用NLP模型Transformer的升級版——Transformer-XL,該模型利用兩大技術,在5個數據集中都獲得了強大的結果。

要正確理解一篇文章,有時需要參考出現在幾千個單詞后面的一個單詞或一個句子。

這是一個長期依賴性(long-range dependence)的例子,這是序列數據中常見的現象,處理許多現實世界的任務都必須理解這種依賴。

雖然人類很自然地就會這樣做,但是用神經網絡建模長期依賴關系仍然很具挑戰性。基于Gating的RNN和梯度裁剪(gradient clipping)技術提高了對長期依賴關性建模的能力,但仍不足以完全解決這個問題。

應對這個挑戰的一種方法是使用Transformers,它允許數據單元之間直接連接,能夠更好地捕獲長期依賴關系。

Transformer 是谷歌在 17 年做機器翻譯任務的 “Attention is all you need” 論文中提出的,引起了相當大的反響,業內有“每一位從事 NLP 研發的同仁都應該透徹搞明白 Transformer”的說法。

參考閱讀:

Transformer一統江湖:自然語言處理三大特征抽取器比較

然而,在語言建模中,Transformers目前使用固定長度的上下文來實現,即將一個長的文本序列截斷為幾百個字符的固定長度片段,然后分別處理每個片段。

vanillaTransformer模型在訓練時具有固定長度上下文

這造成了兩個關鍵的限制:

算法無法建模超過固定長度的依賴關系。

被分割的片段通常不考慮句子邊界,導致上下文碎片化,從而導致優化低效。即使是對于長期依賴性不顯著的較短序列,這也是特別麻煩的。

為了解決這些限制,谷歌提出一個新的架構:Transformer-XL,它使自然語言的理解超出了固定長度的上下文。

Transformer-XL由兩種技術組成:片段級遞歸機制(segment-level recurrence mechanism)和相對位置編碼方案(relative positional encoding scheme)。

論文:Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context(https://arxiv.org/abs/1901.02860)

論文詳細解讀:谷歌、CMU重磅論文:Transformer升級版,評估速度提升超1800倍!

Segment-level的遞歸機制

在訓練期間,為前一個segment計算的representation被修復并緩存,以便在模型處理下一個新的segment時作為擴展上下文重新利用。

這個額外的連接將最大可能依賴關系長度增加了N倍,其中N表示網絡的深度,因為上下文信息現在可以跨片段邊界流動。

此外,這種遞歸機制還解決了上下文碎片問題,為新段前面的token提供了必要的上下文。

在訓練期間具有segment-level recurrence的Transformer-XL

相對位置編碼

然而,天真地應用 segment-level recurrence是行不通的,因為當我們重用前面的段時,位置編碼是不一致的。

例如,考慮一個具有上下文位置[0,1,2,3]的舊段。當處理一個新的段時,我們將兩個段合并,得到位置[0,1,2,3,0,1,2,3],其中每個位置id的語義在整個序列中是不連貫的。

為此,我們提出了一種新的相對位置編碼方案,使遞歸機制成為可能。

此外,與其他相對位置編碼方案不同,我們的公式使用具有learnable transformations的固定嵌入,而不是earnable embeddings,因此在測試時更適用于較長的序列。

當這兩種方法結合使用時,在評估時, Transformer-XL比vanilla Transformer模型具有更長的有效上下文。

在計算時具有固定長度上下文的vanilla Transformer

在評估期間具有segment-level 遞歸的Transformer-XL

此外,Transformer-XL能夠在不需要重新計算的情況下處理新段中的所有元素,從而顯著提高了速度(將在下面討論)。

結果

Transformer-XL在各種主要的語言建模(LM)基準測試中獲得新的最優(SoTA)結果,包括長序列和短序列上的字符級和單詞級任務。實驗證明, Transformer-XL 有三個優勢:

Transformer-XL學習的依賴關系比RNN長約80%,比vanilla Transformers模型長450%,盡管后者在性能上比RNN好,但由于固定長度上下文的限制,對于建模長期依賴關系并不是最好的。

由于不需要重復計算,Transformer-XL在語言建模任務的評估期間比vanilla Transformer快1800+倍。

由于建模長期依賴關系的能力,Transformer-XL在長序列上具有更好的困惑度(Perplexity, 預測樣本方面更準確),并且通過解決上下文碎片化問題,在短序列上也具有更好的性能。

Transformer-XL在5個數據集上的結果

Transformer-XL在5個數據集上都獲得了強大的結果:在enwiki8上將bpc/perplexity的最新 state-of-the-art(SoTA)結果從1.06提高到0.99,在text8上從1.13提高到1.08,在WikiText-103上從20.5提高到18.3,在One Billion Word上從23.7提高到21.8,在Penn Treebank上從55.3提高到54.5。

研究人員展望了Transformer-XL的許多令人興奮的潛在應用,包括但不限于改進語言模型預訓練方法(例如BERT),生成逼真的、長篇的文章,以及在圖像和語音領域的應用。

論文中使用的代碼、預訓練模型和超參數都已全部開源:

https://github.com/kimiyoung/transformer-xl

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 機器翻譯
    +關注

    關注

    0

    文章

    140

    瀏覽量

    15133
  • 數據集
    +關注

    關注

    4

    文章

    1223

    瀏覽量

    25283
  • nlp
    nlp
    +關注

    關注

    1

    文章

    490

    瀏覽量

    22492

原文標題:谷歌升級版Transformer官方解讀:更大、更強,解決長文本問題(開源)

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦
    熱點推薦

    如何使用MATLAB構建Transformer模型

    Transformer 模型在 2017 年由 Vaswani 等人在論文《Attentionis All You Need》中首次提出。其設計初衷是為了解決自然語言處理(Nature
    的頭像 發表于 02-06 10:21 ?3509次閱讀
    如何使用MATLAB構建<b class='flag-5'>Transformer</b><b class='flag-5'>模型</b>

    指針式萬用表與數字萬用表對比

    在電子維修和測試領域,萬用表是不可或缺的工具。它們能夠測量電壓、電流、電阻等多種電氣參數。市場上主要有兩種類型的萬用表:指針式萬用表和數字萬用表。 指針式
    的頭像 發表于 01-23 09:31 ?1039次閱讀

    指針式萬用表和數字萬用表哪個好

    在電子測量領域,萬用表是工程師和技術人員不可或缺的工具。它們能夠測量電壓、電流、電阻等多種電氣參數。市場上主要有兩種類型的萬用表:指針式萬用表和數字萬用表。 1. 指針式
    的頭像 發表于 01-22 17:28 ?2168次閱讀

    如何正確使用萬用表測量電壓

    萬用表是一種多功能的測量工具,能夠測量電壓、電流、電阻等多種電氣參數。在電子維修、電路測試和電氣工程中,正確使用萬用表測量電壓是非常重要的。 準備工作 選擇合適的萬用表 :確保萬用表的
    的頭像 發表于 12-03 15:16 ?3661次閱讀

    萬用表的基本使用方法 萬用表使用注意事項

    萬用表的基本使用方法 1. 選擇萬用表 首先,根據需要測量的參數選擇合適的萬用表。常見的萬用表有數字萬用表和模擬
    的頭像 發表于 12-03 15:14 ?3931次閱讀

    萬用表測量頻率的技巧

    萬用表通常用于測量電壓、電流和電阻等電氣參數,但大多數標準的萬用表并不直接測量頻率。不過,有一些高級的萬用表或者特定的測試設備可以測量頻率。如果你使用的是這類設備,以下是一些測量頻率的技巧: 選擇
    的頭像 發表于 11-01 10:34 ?2312次閱讀

    萬用表的工作原理 萬用表校準的方法

    萬用表的工作原理 電壓測量 : 萬用表通過內部電路將被測電壓與標準電壓(例如1.5V或9V電池)進行比較,從而測量電壓值。 對于交流電壓,萬用表使用整流電路將交流轉換為直流,然后進行測量。 電流測量
    的頭像 發表于 11-01 10:31 ?2210次閱讀

    萬用表維修與保養技巧

    萬用表是電子工程師和技術人員不可或缺的工具之一。它不僅能夠測量電壓、電流和電阻,還能檢測電路中的故障。然而,不正確的使用和保養會導致萬用表的損壞,影響測量結果的準確性。 一、萬用表的正確使用 選擇
    的頭像 發表于 11-01 10:29 ?1856次閱讀

    數字萬用表與模擬萬用表的區別

    在電子工程和維修領域,萬用表是一種不可或缺的工具。它能夠測量電壓、電流、電阻等多種電氣參數。根據顯示方式的不同,萬用表可以分為數字萬用表和模擬萬用表。 一、顯示方式 數字
    的頭像 發表于 11-01 10:20 ?1480次閱讀

    萬用表使用方法 如何選擇萬用

    萬用表(multimeter)是一種多功能的測量儀器,可以測量電壓、電流、電阻等多種電氣參數。正確使用和選擇萬用表對于電氣維修和測試工作至關重要。 萬用表的使用方法 1. 了解萬用表的
    的頭像 發表于 11-01 10:19 ?1198次閱讀

    萬用表怎么查漏電不漏電

    萬用表是一種多功能的電子測量工具,可以用來測量電壓、電流、電阻等多種電氣參數。在查找漏電問題時,萬用表可以發揮重要作用。以下是使用萬用表查找漏電步驟和原理: 1. 準備工作 萬用表 :
    的頭像 發表于 09-27 09:55 ?1380次閱讀

    勝利萬用表的各個型號

    勝利萬用表是一款非常受歡迎的電子測量工具,廣泛應用于電子、電氣、通信、自動化等領域。在選擇勝利萬用表時,我們需要考慮多個因素,如測量范圍、精度、功能、價格等。 勝利萬用表的分類 勝利萬用
    的頭像 發表于 07-14 14:27 ?5004次閱讀

    勝利萬用表和優利德萬用表哪個好

    優利德萬用表和勝利萬用表各有優缺點,具體哪個更好要根據實際的應用場景和需求來決定,以下是勝利萬用表和優利德萬用表的比較: 品牌知名度:優利德(UNI-T)是一家國際知名的電子測量儀器制
    的頭像 發表于 07-14 14:21 ?1.3w次閱讀

    Transformer語言模型簡介與實現過程

    在自然語言處理(NLP)領域,Transformer模型以其卓越的性能和廣泛的應用前景,成為了近年來最引人注目的技術之一。Transformer模型
    的頭像 發表于 07-10 11:48 ?2841次閱讀

    使用PyTorch搭建Transformer模型

    Transformer模型自其問世以來,在自然語言處理(NLP)領域取得了巨大的成功,并成為了許多先進模型(如BERT、GPT等)的基礎。本文將深入解讀如何使用PyTorch框架搭建
    的頭像 發表于 07-02 11:41 ?2469次閱讀