結(jié)合計算機視覺深入理解視覺Transformer技術(shù)

一般講解transformer都會以機器翻譯任務(wù)為例子講解，機器翻譯任務(wù)是指將一種語言轉(zhuǎn)換得到另一種語言，例如英語翻譯為中文任務(wù)。

2023-02-09 標(biāo)簽：計算機視覺cnnTransformer 936 0

詳細解讀ChatGPT 背后的技術(shù)重點

通常，基礎(chǔ)模型的語言建模目標(biāo)不足以讓模型學(xué)會以有用的方式遵循用戶的指令。模型創(chuàng)建者使用「指令微調(diào) (Instruction Fine-Tuning，IF...

2023-02-09 標(biāo)簽：聊天機器人nlpChatGPT 819 0

Prompt Tuning相比于Fine Tuning在哪些場景下表現(xiàn)更好？

第三范式：基于「預(yù)訓(xùn)練模型 + finetuning」的范式，如 BERT + finetuning 的NLP任務(wù)，相比于第二范式，模型準(zhǔn)確度顯著提高，...

2023-02-02 標(biāo)簽：模型深度學(xué)習(xí)nlp 2897 0

基于預(yù)訓(xùn)練語言模型的行業(yè)搜索的應(yīng)用和研究

面向產(chǎn)業(yè)和消費互聯(lián)網(wǎng)的搜索本質(zhì)都是一樣的：用戶有信息獲取需求，同時有信息資源庫，通過搜索引擎把兩者橋接起來。

2023-02-01 標(biāo)簽：QPSSCWSLMR 1285 0

NLP類別不均衡問題之loss大集合

　　NLP 任務(wù)中，數(shù)據(jù)類別不均衡問題應(yīng)該是一個極常見又頭疼的的問題了。最近在工作中也是碰到這個問題，花了些時間梳理并實踐了下類別不均衡問題的解決方式，...

2023-01-31 標(biāo)簽：數(shù)據(jù)代碼GitHub 1135 0

Jina AI到底是做什么的？為什么要做這些

在 Jina AI，我們的產(chǎn)品囊括了跨模態(tài)、多模態(tài)、神經(jīng)搜索和生成式 AI，涵蓋了未來 AI 應(yīng)用的很大一部分。

2023-01-16 標(biāo)簽：人工智能機器學(xué)習(xí)LDA 2986 0

怎樣去使用ChatGPT呢？

文本生成模型已成為文本輸入方法（如聯(lián)想詞、語言檢查等）的重要技術(shù)支撐。

2023-01-16 標(biāo)簽：ACLnlpChatGPT 2440 0

基于統(tǒng)一語義匹配的通用信息抽取框架USM

信息提取（Information Extraction，IE）需要提取句子中的實體、關(guān)系、事件等，其不同的任務(wù)具有多樣的抽取目標(biāo)和異質(zhì)的機構(gòu)，因此，傳統(tǒng)...

2023-01-16 標(biāo)簽：USMGPTnlp 1405 0

基于Transformer編碼器的chatGPT模型設(shè)計

Bert 所作的事就是從大規(guī)模的上億的文本預(yù)料中，隨機地扣掉一部分字，形成上面例子的完形填空題型，不斷地學(xué)習(xí)空格處到底該填寫什么。

2023-01-11 標(biāo)簽：解碼器編碼器nlp 1440 0

講一講ChatGPT的技術(shù)細節(jié)

通過人工標(biāo)注等方式，使用監(jiān)督學(xué)習(xí)的模式對GPT3模型（對這個是chatGPT模型的base）進行初步訓(xùn)練（有監(jiān)督微調(diào)，SFT），從而得到一個初步能夠理解...

2023-01-03 標(biāo)簽：SFTGPTnlp 2678 0

在TensorFlow中對Tensor進行拆和裝

TensorCore改進的方向就是針對矩陣乘法（GEMM，General Matrix Mulitiplicaiton）運算進行優(yōu)化。

2022-12-29 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)tensorflownlp 937 0

介紹幾篇EMNLP'22的語言模型訓(xùn)練方法優(yōu)化工作

來自：圓圓的算法筆記 今天給大家介紹3篇EMNLP 2022中語言模型訓(xùn)練方法優(yōu)化的工作，這3篇工作分別是： 針對檢索優(yōu)化語言模型 ：優(yōu)化語言模型訓(xùn)練過...

2022-12-22 標(biāo)簽：算法nlp 1193 0

基于VQVAE的長文本生成 利用離散code來建模文本篇章結(jié)構(gòu)的方法

寫在前面 近年來，多個大規(guī)模預(yù)訓(xùn)練語言模型 GPT、BART、T5 等被提出，這些預(yù)訓(xùn)練模型在自動文摘等多個文本生成任務(wù)上顯著優(yōu)于非預(yù)訓(xùn)練語言模型。但對...

2022-12-01 標(biāo)簽：CodeGPTcnn 2064 0

介紹兩種高效的參數(shù)更新方式LoRA與BitFit

NLP一個重要的范式包括在通用領(lǐng)域數(shù)據(jù)上的大規(guī)模預(yù)訓(xùn)練和在特定任務(wù)或者領(lǐng)域上的微調(diào)。

2022-11-24 標(biāo)簽：PLMLoRa技術(shù)nlp 2761 0

統(tǒng)計機器學(xué)習(xí)方法：基于HMM的中文詞性標(biāo)注

「隱馬爾可夫模型（Hidden Markov Model, HMM)」 是做NLP的同學(xué)繞不過去的一個基礎(chǔ)模型, 是一個生成式模型, 通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)隱...

2022-11-17 標(biāo)簽：HMM機器學(xué)習(xí)nlp 1479 0

基于性別的暴力（GBV）的語言表達如何影響責(zé)任認知

不同的語言表達可以通過強調(diào)某些部分從不同的角度來概念化同一事件。該論文調(diào)查了一個具有社會后果的案例：基于性別的暴力（GBV）的語言表達如何影響責(zé)任認知。

2022-11-12 標(biāo)簽：編碼器MSAnlp 1907 0

用于學(xué)習(xí)對象級、語言感知和語義豐富視覺表征的GLIP模型

Visual recognition 模型通常只能預(yù)測一組固定的預(yù)先確定的目標(biāo)類別，這限制了在現(xiàn)實世界的可擴展能力，因為對于新的視覺概念類別和新的任務(wù)領(lǐng)...

2022-10-26 標(biāo)簽：Clipcnnnlp 2270 0

基于BIO序列標(biāo)注的方法和基于片段的圖解析方法

該論文的出發(fā)點是將端到端基于片段的（span-based）語義角色標(biāo)注（SRL）轉(zhuǎn)換為基于詞的（word-based）圖解析（graph parsing）任務(wù)。

2022-10-21 標(biāo)簽：BIO數(shù)據(jù)集nlp 3318 0

分享微博在特征Embedding建模方向做的一些工作

首先我們對比自然語言處理和圖像處理：NLP 最基本的數(shù)據(jù)元素是單詞，每個單詞有一定的含義，可能指代某個實體；

2022-10-20 標(biāo)簽：圖像處理CTRnlp 1165 0