女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

比Bert體積更小速度更快的 TinyBERT

電子設計 ? 來源:電子設計 ? 作者:電子設計 ? 2020-12-10 20:35 ? 次閱讀

TinyBERT 是華為不久前提出的一種蒸餾 BERT 的方法,本文梳理了 TinyBERT 的模型結(jié)構(gòu),探索了其在不同業(yè)務上的表現(xiàn),證明了 TinyBERT 對復雜的語義匹配任務來說是一種行之有效的壓縮手段。
作者:chenchenliu&winsechang,騰訊 PCG 內(nèi)容挖掘工程師
來源:騰訊技術(shù)工程微信號

一、簡介

在 NLP 領域,BERT 的強大毫無疑問,但由于模型過于龐大,單個樣本計算一次的開銷動輒上百毫秒,很難應用到實際生產(chǎn)中。TinyBERT 是華為、華科聯(lián)合提出的一種為基于 transformer 的模型專門設計的知識蒸餾方法,模型大小不到 BERT 的 1/7,但速度提高了 9 倍,而且性能沒有出現(xiàn)明顯下降。目前,該論文已經(jīng)提交機器學習頂會 ICLR 2020。本文復現(xiàn)了 TinyBERT 的結(jié)果,證明了 Tiny BERT 在速度提高的同時,對復雜的語義匹配任務,性能沒有顯著下降。

目前主流的幾種蒸餾方法大概分成利用 transformer 結(jié)構(gòu)蒸餾、利用其它簡單的結(jié)構(gòu)比如 BiLSTM 等蒸餾。由于 BiLSTM 等結(jié)構(gòu)簡單,且一般是用 BERT 最后一層的輸出結(jié)果進行蒸餾,不能學到 transformer 中間層的信息,對于復雜的語義匹配任務,效果有點不盡人意。

基于 transformer 結(jié)構(gòu)的蒸餾方法目前比較出名的有微軟的 BERT-PKD (Patient Knowledge Distillation for BERT),huggingface 的 DistilBERT,以及本篇文章講的 TinyBERT。他們的基本思路都是減少 transformer encoding 的層數(shù)和 hidden size 大小,實現(xiàn)細節(jié)上各有不同,主要差異體現(xiàn)在 loss 的設計上。

二、模型實現(xiàn)細節(jié)

整個 TinyBERT 的 loss 設計分為三部分:

1. Embedding-layer Distillation


其中:

分別代表 student 網(wǎng)絡的 embedding 和 teacher 網(wǎng)絡的 embedding. 其中 l 代表 sequence length, d0 代表 student embedding 維度, d 代表 teacher embedding 維度。由于 student 網(wǎng)絡的 embedding 層通常較 teacher 會變小以獲得更小的模型和加速,所以 We 是一個 d 0×d 維的可訓練的線性變換矩陣,把 student 的 embedding 投影到 teacher embedding 所在的空間。最后再算 MSE,得到 embedding loss.

2. Transformer-layer Distillation

TinyBERT 的 transformer 蒸餾采用隔 k 層蒸餾的方式。舉個例子,teacher BERT 一共有 12 層,若是設置 student BERT 為 4 層,就是每隔 3 層計算一個 transformer loss. 映射函數(shù)為 g(m) = 3 * m, m 為 student encoder 層數(shù)。具體對應為 student 第 1 層 transformer 對應 teacher 第 3 層,第 2 層對應第 6 層,第 3 層對應第 9 層,第 4 層對應第 12 層。每一層的 transformer loss 又分為兩部分組成,attention based distillation 和 hidden states based distillation.

2.1 Attention based loss


其中,

h 代表 attention 的頭數(shù),l 代表輸入長度,

代表 student 網(wǎng)絡第 i 個 attention 頭的 attention score 矩陣,

代表 teacher 網(wǎng)絡第 i 個 attention 頭的 attention score 矩陣。這個 loss 是受到斯坦福和 Facebook 聯(lián)合發(fā)表的論文,What Does BERT Look At? An Analysis of BERT’s Attention 的啟發(fā)。這篇論文研究了 attention 權(quán)重到底學到了什么,實驗發(fā)現(xiàn)與語義還有語法相關的詞比如第一個動詞賓語,第一個介詞賓語,以及[CLS], [SEP], 逗號等 token,有很高的注意力權(quán)重。為了確保這部分信息能被 student 網(wǎng)絡學到,TinyBERT 在 loss 設計中加上了 student 和 teacher 的 attention matrix 的 MSE。這樣語言知識可以很好的從 teacher BERT 轉(zhuǎn)移到 student BERT.

2.2 hidden states based distillation

其中,

分別是 student transformer 和 teacher transformer 的隱層輸出。和 embedding loss 同理,

投影到 Ht 所在的空間。

3. Prediction-Layer Distillation


其中 t 是 temperature value,暫時設為 1.除了模仿中間層的行為外,這一層用來模擬 teacher 網(wǎng)絡在 predict 層的表現(xiàn)。具體來說,這一層計算了 teacher 輸出的概率分布和 student 輸出的概率分布的 softmax 交叉熵。這一層的實現(xiàn)和具體任務相關,我們的兩個實驗分別采取了 BERT 原生的 masked language model loss + next sentence loss 和單任務的 classification softmax cross-entropy.

另外,值得一提的是 prediction loss 有很多變化。在 TinyBERT 中,這個 loss 是 teacher BERT 預測的概率和 student BERT 預測概率的 softmax 交叉熵,在 BERT-PKD 模型中,這個 loss 是 teacher BERT 和 student BERT 的交叉熵和 student BERT 和 hard target( one-hot)的交叉熵的加權(quán)平均。我們在業(yè)務中有試過直接用 hard target loss,效果比使用 teacher student softmax 交叉熵下降 5-6 個點。因為 softmax 比 one-hot 編碼了更多概率分布的信息。并且實驗中,softmax cross-entropy loss 容易發(fā)生不收斂的情況,把 softmax 交叉熵改成 MSE, 收斂效果變好,但泛化效果變差。這是因為使用 softmax cross-entropy 需要學到整個概率分布,更難收斂,因為擬合了 teacher BERT 的概率分布,有更強的泛化性。MSE 對極值敏感,收斂的更快,但泛化效果不如前者。

所以總結(jié)一下,loss 的計算公式為:

其中,

三、實驗

TinyBERT 論文中提出了兩階段學習框架,比較新穎。類似于原生的 BERT 先 pre-train, 根據(jù)具體任務再 fine-tine, TinyBERT 先在 general domain 數(shù)據(jù)集上用未經(jīng)微調(diào)的 BERT 充當教師蒸餾出一個 base 模型,在此基礎上,具體任務通過數(shù)據(jù)增強,利用微調(diào)后的 BERT 再進行重新執(zhí)行蒸餾。

這種兩階段的方法給 TinyBERT 提供了像 BERT 一樣的泛化能力。不過為了快速得到實驗結(jié)果,并且論文中的控制變量實驗顯示 general 的蒸餾對各項下游任務的影響較小,我們此次選擇直接用 fine-tune 過的 teacher BERT,蒸餾得到 student BERT.

所以我們蒸餾 TinyBERT 的流程是:

制作任務相關數(shù)據(jù)集;

fine-tune teacher BERT;

固定 teacher BERT 參數(shù),蒸餾得到 TinyBERT.

關于實驗結(jié)果,先上 TinyBERT 論文中的結(jié)論:

可以看到 TinyBERT 表現(xiàn)優(yōu)異。在 GLUE 上,相較于完整的 BERT,性能下降 3 個點,但是推理性能卻得到了巨大提升,快了 9 倍多。

我們在自己的業(yè)務上,也用 TinyBERT 得到了相似的結(jié)果。

3.1 文章連貫性特征任務

做這個特征的目的是為了過濾東拼西湊或者機器生成前后沒有邏輯的文章。由于語義的復雜性還有語義的轉(zhuǎn)移,這個任務和語義相似度任務略有不同,文章的上下句之間語義會有不同。在這個背景下,實驗過 DSSM, Match-Pyramid 等模型,表現(xiàn)效果較差。

由于 BERT 能學到豐富的語義,這個任務目前采用 BERT 的 next sentence 任務較為合適。但是一旦文章很長,原生 BERT 需要算 1 秒甚至更久,這樣的速度是不能接受的。

TinyBERT 在不同實驗參數(shù)下的表現(xiàn)如下:

可以看到 4 層 encoder 的 TinyBERT 在 next sentence 任務下準確率較 BERT base 準確率下降了不到 3 個點,在 mlm 任務上下降較多。在 CPU 上,TinyBERT 相較于 base 速度獲得了將近 8 倍的提升。

3.2 問答 FAQ 任務

業(yè)務場景:為用戶的 query 匹配最接近的 question,將其 answer 返回,是一個 Query-question 語義匹配任務。

下面是蒸餾到兩層 encoder 的 TinyBERT 結(jié)果:

可以看到 ACC 損失 3 個點,AUC 損失 4 個點,取得了不錯的效果。

四、總結(jié)

我們證明了 TinyBERT 作為一種蒸餾方法,能有效的提取 BERT transformer 結(jié)構(gòu)中豐富的語意信息,在不犧牲性能的情況下,速度能獲得 8 到 9 倍的提升。下一步可能會嘗試蒸餾一個 general 的 TinyBERT base。

更多騰訊AI相關技術(shù)干貨,請關注專欄騰訊技術(shù)工程

審核編輯 黃昊宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1804

    文章

    48737

    瀏覽量

    246664
  • nlp
    nlp
    +關注

    關注

    1

    文章

    490

    瀏覽量

    22492
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    RVCT編譯器是否GNU的編譯器的代碼執(zhí)行速度更快

    ,是rvct3.1還是rvct4.0?如何把rvct編譯器集成到ide中? 2、RVCT編譯器是否GNU的編譯器的代碼執(zhí)行速度更快
    發(fā)表于 05-08 07:49

    SlaveFifo 2bit sync模式下最大速度只有320Mbyte/s左右,還能更快一點嗎?

    你好!我測試了SlaveFifo 2bit sync32bitBus 模式,采用AN65974官方代碼,硬件芯片是Artix 7 , PCLK設置為100MHz的時鐘,目前只開通單個讀線程 最大速度
    發(fā)表于 05-06 14:36

    傳統(tǒng)封裝小40%!TO-252為何成為智能硬件的核心選擇?

    隨著智能家居設備向“更小、更高效”進化功率器件的體積、能效、可靠性成為核心挑戰(zhàn),TO252封裝分立器件以五大優(yōu)勢重新定義行業(yè)標準。
    的頭像 發(fā)表于 04-09 18:32 ?407次閱讀

    速度更快,傳輸更穩(wěn)定的工業(yè)相機COF接口

    工業(yè)相機的數(shù)據(jù)接口之一COF接口,速度更快,傳輸更穩(wěn)定的。
    的頭像 發(fā)表于 03-10 17:32 ?362次閱讀
    <b class='flag-5'>速度</b><b class='flag-5'>更快</b>,傳輸更穩(wěn)定的工業(yè)相機COF接口

    [上手體驗]雷龍SD NAND:TF卡更小更耐用

    ,可以看到僅需要少量外圍器件即可使用,集成度很高。 將轉(zhuǎn)接板插入讀卡器,連接電腦測試其寫入和讀取速度。 寫入一個1.7GB的視頻文件,平均速度在10.7MB/s 再將其讀回到硬盤,讀取平均速度
    發(fā)表于 03-08 14:28

    hdi高密度互連PCB電金適用性

    元器件的數(shù)量和體積。 激光鉆微孔技術(shù):與傳統(tǒng)PCB相比,HDI PCB可以利用激光鉆孔技術(shù)實現(xiàn)更小的孔徑,從而提高線路密度。 高信號完整性和高元器件密度:提供了更好的信號完整性,并常規(guī)PCB有更高的層數(shù),具有更高的元器件密度和
    的頭像 發(fā)表于 01-10 17:00 ?561次閱讀
    hdi高密度互連PCB電金適用性

    晶振行業(yè)小型化趨勢:3225及更小尺寸晶體

    主流晶振通常分為兩種封裝形式:貼片式與直插式。貼片式晶振相較直插式晶振體積更小,更廣泛應用于智能化電子產(chǎn)品。目前通常采用3225(3.2*2.5mm)及以下尺寸的貼片式晶振。
    的頭像 發(fā)表于 12-20 16:21 ?907次閱讀
    晶振行業(yè)小型化趨勢:3225及<b class='flag-5'>更小</b>尺寸晶體

    內(nèi)置誤碼率測試儀(BERT)和采樣示波器一體化測試儀器安立MP2110A

    BERTWave MP2110A是一款內(nèi)置誤碼率測試儀(BERT)和采用示波器的一體化測量儀器,支持光模塊的誤碼率(BERT)測量、眼圖模式測試、眼圖分析等評估操作
    的頭像 發(fā)表于 09-23 14:34 ?762次閱讀
    內(nèi)置誤碼率測試儀(<b class='flag-5'>BERT</b>)和采樣示波器一體化測試儀器安立MP2110A

    LM211比較器的速度規(guī)格書慢了10倍,為什么?

    電路圖如上,不用在意他的輸入電容,測量時候,直接測量的芯片引腳了,閾值10V 波形如下: 由此可以看見,比較時候,下降速度很快,上升卻很慢,甚至LM393這種都慢了, 怎么解決呢?
    發(fā)表于 09-10 07:48

    深入了解數(shù)字隔離器:革命性的隔離技術(shù)

    數(shù)字隔離器已成為光耦合器的一種更優(yōu)越的替代品,具有尺寸更小速度更快、功耗更低、集成更簡單和可靠性更高等優(yōu)點。
    的頭像 發(fā)表于 09-06 16:09 ?688次閱讀
    深入了解數(shù)字隔離器:革命性的隔離技術(shù)

    聲發(fā)射系統(tǒng)的技術(shù)指標:最高采樣速度的選擇

    雖然理論上采樣速度越高獲得的數(shù)字信號越完整,但考慮到實際應用的成本,無法實現(xiàn)無限高甚至過高,只能選擇合理(即滿足應用要求)的采樣速度。例如,采樣速度40兆,數(shù)據(jù)量就采樣
    的頭像 發(fā)表于 08-26 17:30 ?680次閱讀
    聲發(fā)射系統(tǒng)的技術(shù)指標:最高采樣<b class='flag-5'>速度</b>的選擇

    M8020A J-BERT 高性能比特誤碼率測試儀

    ,執(zhí)行交互式鏈路訓練。 J-BERT M8020A 可以幫助您更快洞察設計問題。 ?性能特點?? 數(shù)據(jù)速率高達 8.5/16 Gb/s,用于碼型
    的頭像 發(fā)表于 08-21 17:13 ?446次閱讀

    AWG和BERT常見問題解答

    隨著信號的速率越來越高,調(diào)制格式越來越復雜,對測試儀器的性能要求也越來越高。是德科技也一直在推出業(yè)界領先的高帶寬、高采樣率的AWG和高性能的BERT
    的頭像 發(fā)表于 08-06 17:27 ?1166次閱讀

    CyU3PDmaMultiChannelCommitBuffer失敗后,如何使重置速度更快

    1) CyU3PDmaMultiChannelCommitBuffer 失敗后,如何使重置速度更快? 2) 如何將微控制器其他部分的內(nèi)存用于幀緩沖?
    發(fā)表于 07-23 08:29

    請問ESP32是否支持擦除,寫入速度更快的spi nandflash作為程序存儲器(掛載到spi0)?

    ESP32寫flash的時候,似乎會影響到中斷丟失。請問ESP32是否支持擦除,寫入速度更快的spi nandflash作為程序存儲器(掛載到spi0)?
    發(fā)表于 06-19 06:32