感謝清華大學自然語言處理實驗室對預訓練語言模型架構的梳理,我們將沿此脈絡前行,探索預訓練語言模型的前....
得益于BERT的加持,Encoder搭配CRF的結構在中文NER上通常都有不錯的表現,而且BERT使....
前言 情感分析是文本分類的一個分支,是對帶有情感色彩(褒義貶義/正向負向)的主觀性文本進行分析,以確....
近年來,自然語言處理(Natural Language Processing, NLP)模型在文本分....
本期導讀:文本摘要技術(Text Summarization)是信息爆炸時代,提升人們獲取有效信息效....
1. 簡介 本文提出了一種新的梯度Boosting框架,將淺層神經網絡作為“弱學習者”。在此框架下,....
近幾年,神經網絡因其強大的表征能力逐漸取代傳統的機器學習成為自然語言處理任務的基本模型。然而經典的神....
開放域信息抽取是信息抽取任務的另一個分支任務,其中抽取的謂語和實體并不是特定的領域,也并沒有提前定義....
前言 2021年4月,距離論文“Attention is all you need”問市過去快4年了....
NAACL2021中,復旦大學大學數據智能與社會計算實驗室(Fudan DISC)和微軟亞洲研究院合....
一、簡介 1. 什么是問答? 問答 (Question Answering) 是自然語言處理 (Na....
說一下我了解的學校和實驗室!排名不分先后,名單不全,歡迎補充~ 清華大學:孫茂松老師、劉知遠 @劉知....
作者:MARCIN ZAB?OCKIMARCIN ZAB?OCKI 編譯:ronghuaiyang(....
自從深度學習火起來后,預訓練過程就是做圖像或者視頻領域的一種比較常規的做法,有比較長的歷史了,而且這....
為了解決預訓練和微調時,因為任務的不同而預訓練和微調階段的gap,加入了一個增強decoder端,這....
投稿要求與主流ACL系列會議一致,所有與計算語言學和自然語言處理相關的論文都可以投稿到ARR,包含長....
我的看法:知識圖譜不是NLP的未來,因為知識圖譜是另外一種與NLP有很多交集的技術。在目前所有已知的....
當我們拿到一個信息抽取的任務,需要明確我們抽取的是什么,”今天天氣真冷“,我們要抽的天氣的狀態天氣-....
清明節這幾天有些時間寫了這篇文章,從我的視角,用幾個深度學習框架串起來這些年歷史上的一些有趣的插曲,....
一般的文本分類任務只提供句子或文檔級別的情感標簽,引入情感詞典等先驗情感知識可以給情感文本引入更細粒....
知識圖譜嵌入 knowledge graph embedding是將包含實體和關系的知識圖譜三元組嵌....
請求和鍵值初始為不同的權重是為了解決可能輸入句長與輸出句長不一致的問題。并且假如QK維度一致,如果不....
圖神經網絡的可解釋性是目前比較值得探索的方向,今天解讀的2021最新綜述,其針對近期提出的 GNN ....
今天想談的問題是:什么是貝葉斯優化/Bayesian Optimization,基本用法是什么? 本....
大家在做模型的時候,往往關注一個特定指標的優化,如做點擊率模型,就優化AUC,做二分類模型,就優化f....
近些年,Transformer[1]逐漸成為了自然語言處理中的主流結構。為了進一步提升Transfo....
圖數據的天然優勢是為學習算法提供了豐富的結構化信息,節點之間鄰接關系的設計成為了重要的先驗信息和交互....
1.開篇 去年年底,各大榜單上風起云涌,各路英雄在榜單上為了分數能多個0.01而不停的躁動,迫不及待....
要說自然語言處理在18年最奪目閃耀的是什么事情,那當屬 BERT 刷新各個任務的記錄了,至今已經過去....
參與混合主動互動的能力是會話搜索系統的核心要求之一。如何做到這一點,人們知之甚少。我們提出了一組無監....