基于多任務(wù)預(yù)訓(xùn)練模塊化提示

Prompt Tuning 可以讓預(yù)訓(xùn)練的語言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當(dāng)訓(xùn)練數(shù)據(jù)足夠多的時候，Prompt Tuning 的微調(diào)結(jié)果可以媲...

2023-06-20 標(biāo)簽：模塊數(shù)據(jù)語言模型 857 0

Macaw-LLM：具有圖像、音頻、視頻和文本集成的多模態(tài)語言建模

盡管指令調(diào)整的大型語言模型 (LLM) 在各種 NLP 任務(wù)中表現(xiàn)出卓越的能力，但它們在文本以外的其他數(shù)據(jù)模式上的有效性尚未得到充分研究。在這項工作中，...

2023-06-19 標(biāo)簽：模塊語言建模語言模型 1766 0

LLM in Medical Domain: 一文速覽大語言模型在醫(yī)學(xué)領(lǐng)域的應(yīng)用

由于在生成長文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Instruction Prompt Tuning對Fla...

2023-06-15 標(biāo)簽：語言模型數(shù)據(jù)集大模型 2044 0

中文信息處理實驗室提出工具學(xué)習(xí)新框架ToolAlpaca

受 Alpaca 通過微調(diào)讓小模型學(xué)會通用指令遵循啟發(fā)，中文信息處理實驗室的研究人員探索了通過在通用工具使用數(shù)據(jù)集上微調(diào)較小規(guī)模的語言模型，讓它們獲得通...

2023-06-15 標(biāo)簽：框架語言模型數(shù)據(jù)集 2537 0

基于預(yù)訓(xùn)練模型和語言增強(qiáng)的零樣本視覺學(xué)習(xí)

在一些非自然圖像中要比傳統(tǒng)模型表現(xiàn)更好 CoOp 增加一些 prompt 會讓模型能力進(jìn)一步提升 怎么讓能力更好？可以引入其他知識，即其他的預(yù)訓(xùn)練模型，...

2023-06-15 標(biāo)簽：語言模型訓(xùn)練模型 716 0

LeCun世界模型首個研究！自監(jiān)督視覺像人一樣學(xué)習(xí)和推理！

今日，Meta 推出了首個基于 LeCun 世界模型概念的 AI 模型。該模型名為圖像聯(lián)合嵌入預(yù)測架構(gòu)（Image Joint Embedding Pr...

2023-06-15 標(biāo)簽：人工智能模型語言模型 495 0

大語言模型中的常用評估指標(biāo)

EM 是 exact match 的簡稱，所以就很好理解，em 表示預(yù)測值和答案是否完全一樣。

2023-06-12 標(biāo)簽：計算模型語言模型 3390 0

多模態(tài)上下文指令調(diào)優(yōu)數(shù)據(jù)集MIMIC-IT

然而，一個理想的 AI 對話助手應(yīng)該能夠解決涉及多種模態(tài)的任務(wù)。這需要獲得一個多樣化和高質(zhì)量的多模式指令跟隨數(shù)據(jù)集。比如，LLaVAInstruct-1...

2023-06-12 標(biāo)簽：AI語言模型數(shù)據(jù)集 941 0

Allen AI推出集成主流大語言模型的LLM-BLENDER框架

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的N個輸出的排序。隨后，可以使用來自PAIRRANKE...

2023-06-11 標(biāo)簽：框架模型語言模型 908 0

號稱「碾壓」LLaMA的Falcon實測得分僅49.08，HuggingFace決定重寫排行榜代碼

這是一組由 Meta 開源的大型語言模型，共有 7B、13B、33B、65B 四種版本。其中，LLaMA-13B 在大多數(shù)數(shù)據(jù)集上超過了 GPT-3（1...

2023-06-11 標(biāo)簽：解碼器語言模型 762 0

PyTorch教程-9.3. 語言模型

9.3. 語言模型? Colab [火炬]在 Colab 中打開筆記本 Colab [mxnet] Open the notebook in C...

2023-06-05 標(biāo)簽：語言模型pytorch 530 0

一個通用的自適應(yīng)prompt方法，突破了零樣本學(xué)習(xí)的瓶頸

為了解決這個問題，這篇研究提出了一種Universal Self-adaptive Prompting (USP)方法，對LLMs的零樣本學(xué)習(xí)進(jìn)行了優(yōu)化...

2023-06-01 標(biāo)簽：語言模型數(shù)據(jù)集自然語言 1015 0

GPT4技術(shù)原理之相變與涌現(xiàn)

物理系統(tǒng)中發(fā)生的相變最直觀，水結(jié)成冰或沸騰成蒸汽。在一定的溫度或壓力下，系統(tǒng)發(fā)生行為的突然變化，從一種相轉(zhuǎn)變?yōu)榱硪环N相。轉(zhuǎn)變出現(xiàn)了之前相中沒有的新特性，...

2023-05-29 標(biāo)簽：語言模型GPT 1336 0

調(diào)教LLaMA類模型沒那么難，LoRA將模型微調(diào)縮減到幾小時

最近幾個月，ChatGPT 等一系列大語言模型（LLM）相繼出現(xiàn)，隨之而來的是算力緊缺日益嚴(yán)重。雖然人人都想打造專屬于自己的大模型，但是能負(fù)擔(dān)得起上億參...

2023-05-28 標(biāo)簽：語言模型LoRaChatGPT 3029 0

時下改變AI的6大NLP語言模型

消除早期語言模型的局限性，特別是在預(yù)訓(xùn)練中表現(xiàn)出的單向性。這些限制了可用于預(yù)訓(xùn)練的架構(gòu)選擇，以及微調(diào)的方法。例如，OpenAI的GPT v1使用從左到右...

2023-05-26 標(biāo)簽：語言模型nlp 1013 0

以Gpipe作為流水線并行的范例進(jìn)行介紹

回顧C(jī)hatGPT的發(fā)展歷程，我們可以總結(jié)出大語言模型（LLM）取得驚艷效果的要點(diǎn)（重要性從高到低排序）： 愿意燒錢，且接受“燒錢 != 好模型”的現(xiàn)實...

2023-05-25 標(biāo)簽：3D開源語言模型 1314 0

大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息

? 大型語言模型能否捕捉到它們所處理和生成的文本中的語義信息？這一問題在計算機(jī)科學(xué)和自然語言處理領(lǐng)域一直存在爭議。然而，MIT的一項新研究表明，僅基于文...

2023-05-25 標(biāo)簽：數(shù)據(jù)語言模型自然語言 881 0

Meta AI重磅推出LIMA！媲美GPT-4、無需RLHF就能對齊！

天下人苦“對齊”久矣！要讓預(yù)訓(xùn)練語言模型的響應(yīng)和特定任務(wù)和用戶偏好對齊，動輒需要百萬示例數(shù)據(jù)集上的instruction tuning、以及最近從人類反...

2023-05-24 標(biāo)簽：語言模型CMUChatGPT 1345 0

GPT-4推理提升1750%！清華姚班校友提出全新ToT框架

那么，這樣一個簡單的機(jī)制能否足以建立一個通向「解決通用問題的語言模型」？如果不是，哪些問題會挑戰(zhàn)當(dāng)前的范式，真正的替代機(jī)制應(yīng)該是什么？

2023-05-24 標(biāo)簽：框架語言模型GPT 521 0