理解什么是NLP Subword算法

Subword算法如今已經(jīng)成為了一個重要的NLP模型性能提升方法。自從2018年BERT橫空出世橫掃NLP界各大排行榜之后，各路預(yù)訓(xùn)練語言模型如同雨后春...

2023-02-22 標(biāo)簽：語言模型nlp 707 0

解讀ChatGPT背后的技術(shù)重點：RLHF、IFT、CoT、紅藍對抗

我們先來看看基于語言模型的會話代理的全景。ChatGPT 并非首創(chuàng)，事實上很多組織在 OpenAI 之前就發(fā)布了自己的語言模型對話代理 (dialog ...

2023-02-09 標(biāo)簽：語言模型OpenAIChatGPT 2544 0

英偉達耗費64個A100訓(xùn)練StyleGAN-T！

有趣的是，2014 年，由 Goodfellow 等人提出的生成對抗網(wǎng)絡(luò)（GAN），在生成任務(wù)中并沒有大放異彩，正當(dāng)大家以為 GAN 在生成方面已經(jīng)不行...

2023-02-07 標(biāo)簽：編碼器語言模型英偉達 1189 0

有了Fine-tune-CoT方法，小模型也能做推理，完美逆襲大模型

如果給語言模型生成一些 prompting，它還向人們展示了其解決復(fù)雜任務(wù)的能力。標(biāo)準(zhǔn) prompting 方法，即為使用少樣本的問答對或零樣本的指令的...

2023-02-02 標(biāo)簽：模型語言模型大模型 1278 0

基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

sparse retrieval：傳統(tǒng)的基于字或基于詞去建立倒排索引，同時基于此去構(gòu)建很多查詢理解的一系列的能力，包括一些文本相關(guān)性排序等；

2023-02-01 標(biāo)簽：語言模型自然語言知識圖譜 2689 0

摘要模型理解或捕獲輸入文本的要點

Abstract Intro ? 盡管基于預(yù)訓(xùn)練的語言模型的摘要取得了成功，但一個尚未解決的問題是生成的摘要并不總是忠實于輸入文檔。造成不忠實問題的原因...

2022-11-01 標(biāo)簽：編碼器語言模型數(shù)據(jù)集 1172 0

一種基于prompt和對比學(xué)習(xí)的句子表征學(xué)習(xí)模型

我們發(fā)現(xiàn)prompt，再給定不同的template時可以生成不同方面的positive pair，且避免embedding bias。

2022-10-25 標(biāo)簽：語言模型 1092 0

文本噪聲標(biāo)簽在預(yù)訓(xùn)練語言模型（PLMs）上的特性

數(shù)據(jù)的標(biāo)簽錯誤隨處可見，如何在噪聲數(shù)據(jù)集上學(xué)習(xí)到一個好的分類器，是很多研究者探索的話題。在 Learning With Noisy Labels 這個大...

2022-10-12 標(biāo)簽：噪聲語言模型數(shù)據(jù)集 1330 0

基于訓(xùn)練階段使用知識庫+KNN檢索相關(guān)信息輔助學(xué)習(xí)方法

上面收的引入知識庫+KNN的方法，緩解了模型參數(shù)需要強記憶訓(xùn)練樣本的問題。此外，文中還通過KNN檢索結(jié)果來指導(dǎo)模型的學(xué)習(xí)過程。

2022-10-09 標(biāo)簽：數(shù)據(jù)KNN語言模型 1833 0

幾種常用的NLP數(shù)據(jù)增強方法

因為直接對原是文本進行數(shù)據(jù)增強，很難保證維持原始的文本語義，因此可以通過在語義空間上進行隱式數(shù)據(jù)增強，簡單列出幾種方法：

2022-09-15 標(biāo)簽：數(shù)據(jù)語言模型nlp 2026 0

基于OpenAI的GPT-2的語言模型ProtGPT2可生成新的蛋白質(zhì)序列

人類語言與蛋白質(zhì)有很多共同點，至少在計算建模方面。這使得研究團隊將自然語言處理（NLP）的新方法應(yīng)用于蛋白質(zhì)設(shè)計。其中，德國Bayreuth大學(xué)Birt...

2022-09-08 標(biāo)簽：解碼器語言模型nlp 2303 0

基于圖文多模態(tài)領(lǐng)域典型任務(wù)

圖文多模態(tài)領(lǐng)域典型任務(wù)如img-text retrieval、VQA、captioning、grounding等，目前的學(xué)術(shù)設(shè)定難度尚可。但是， 一旦知...

2022-09-01 標(biāo)簽：語言模型數(shù)據(jù)集nlp 2638 0

Transformer的細(xì)節(jié)和效果如何

在文本理解任務(wù)(Natural Language Understanding)上，預(yù)訓(xùn)練模型已經(jīng)取得了質(zhì)的飛躍，語言模型預(yù)訓(xùn)練+下游任務(wù)fine-tun...

2022-08-30 標(biāo)簽：語言模型機器翻譯Transformer 1144 0

如何用語言模型（LM）實現(xiàn)建模能力

當(dāng)初筆者進入 NLP 的大門，就是相信：由于語言強大的表達能力以及語言模型強大的建模能力，Reasoning 一定就在不久的將來！可惜實際情況卻是

2022-08-30 標(biāo)簽：建模編程語言語言模型 1764 0