In-context learning如何工作？斯坦福學(xué)者用貝葉斯方法解開其奧秘

In-context learning允許用戶為新用例快速構(gòu)建模型，而無需為每個(gè)任務(wù)微調(diào)和存儲(chǔ)新參數(shù)。它通常只需要很少的訓(xùn)練示例就可以使模型正常工作，而...

2023-04-11 標(biāo)簽：貝葉斯語言模型自然語言 1724 0

哈工大南洋理工提出全球首個(gè)「多模態(tài)DeepFake檢測(cè)定位」模型：讓AIGC偽造無處可藏

具體而言，在多模態(tài)媒體篡改中，各類新聞報(bào)道的圖片中重要人物的人臉（如圖 1 中法國(guó)總統(tǒng)人臉）被替換，文字中關(guān)鍵短語或者單詞被篡改（如圖 1 中正面短語「...

2023-04-11 標(biāo)簽：互聯(lián)網(wǎng)語言模型圖像檢測(cè) 1191 0

有哪些省內(nèi)存的大語言模型訓(xùn)練/微調(diào)/推理方法？

首先，我們需要了解如何根據(jù)參數(shù)量估計(jì)模型大致所需的 RAM，這在實(shí)踐中有很重要的參考意義。我們需要通過估算設(shè)置 batch_size，設(shè)置模型精度，選擇...

2023-04-10 標(biāo)簽：RAM參數(shù)語言模型 1760 0

基于預(yù)訓(xùn)練語言模型設(shè)計(jì)了一套統(tǒng)一的模型架構(gòu)

進(jìn)一步，本文研究了在更依賴 KG 的知識(shí)庫問答任務(wù)中如何利用 PLM。已有研究通常割裂地建模檢索-推理兩階段，先從大規(guī)模知識(shí)圖譜上檢索問題相關(guān)的小子圖，...

2023-04-07 標(biāo)簽：PLM語言模型數(shù)據(jù)集 882 0

Firefly(流螢): 中文對(duì)話式大語言模型

Bloom是個(gè)多語言模型，由于需要兼容多語言，所以詞表有25w之多，在中文領(lǐng)域中，大部分詞表并不會(huì)被用到。我們通過刪減冗余的詞表，從多語言模型中提取常用...

2023-04-07 標(biāo)簽：語言模型數(shù)據(jù)集Firefly 7148 0

大型語言模型綜述全新出爐！從T5到GPT-4最全盤點(diǎn)

LLM 的涌現(xiàn)能力被正式定義為「在小型模型中不存在但在大型模型中出現(xiàn)的能力」，這是 LLM 與以前的 PLM 區(qū)分開來的最顯著特征之一。當(dāng)出現(xiàn)這種新的能...

2023-04-04 標(biāo)簽：語言模型nlp 1247 0

重新審視Prompt優(yōu)化問題，預(yù)測(cè)偏差讓語言模型上下文學(xué)習(xí)更強(qiáng)

Prompt tuning 的關(guān)鍵思想是將任務(wù)特定的 embedding 注入隱藏層，然后使用基于梯度的優(yōu)化來調(diào)整這些 embeddings。然而，這些...

2023-04-03 標(biāo)簽：語言模型 687 0

ChatGPT開始聯(lián)網(wǎng)，最后的封印解除了

OpenAI 的解決方案是用第三方插件作為橋梁，讓 AI 在較安全的環(huán)境下「看」外界數(shù)據(jù)。昨天該機(jī)構(gòu)開放了第一批 ChatGPT 插件名單。這批插件由 ...

2023-03-27 標(biāo)簽：語言模型OpenAIChatGPT 1137 0

語言模型性能評(píng)估必備下游數(shù)據(jù)集：ZeroCLUE/FewCLUE與Chinese_WPLC數(shù)據(jù)集

零樣本學(xué)習(xí)是AI識(shí)別方法之一。簡(jiǎn)單來說就是識(shí)別從未見過的數(shù)據(jù)類別，即訓(xùn)練的分類器不僅僅能夠識(shí)別出訓(xùn)練集中已有的數(shù)據(jù)類別， 還可以對(duì)于來自未見過的類別的數(shù)...

2023-03-27 標(biāo)簽：分類器語言模型數(shù)據(jù)集 1929 0

Recursive prompting增強(qiáng)語言模型方案

無監(jiān)督問題分解，將原問題分解為多個(gè)相對(duì)簡(jiǎn)單的子問題。這里需要訓(xùn)練一個(gè)分解模型，用于將復(fù)雜問題分解成多個(gè)子問題。

2023-03-23 標(biāo)簽：語言模型無監(jiān)督學(xué)習(xí) 389 0

語言模型GPT-4在北京高考題目上的測(cè)試結(jié)果

計(jì)算符號(hào)的表示。針對(duì)數(shù)學(xué)和物理中的公式，我們發(fā)現(xiàn)不管用文本類輸入（如，t_0)還是用latex輸入（如， ）都不影響GPT-4的理解。為了統(tǒng)一，我們都...

2023-03-22 標(biāo)簽：電荷語言模型GPT 1571 0

ChatGPT開源項(xiàng)目匯總表格

CarperAI 是EleutherAI研究小組的一個(gè)新實(shí)驗(yàn)室，其任務(wù)是“通過強(qiáng)化學(xué)習(xí)提高大型語言模型 (LLM) 的性能和安全性。” CarperAI...

2023-03-22 標(biāo)簽：開源語言模型ChatGPT 1923 0

如何利用大規(guī)模語言模型將自然語言問題轉(zhuǎn)化為SQL語句？

有的工作嘗試引出中間推理步驟，通過將復(fù)雜問題顯示分解為多個(gè)子問題，從而以分而治之的方式來解決。

2023-03-22 標(biāo)簽：SQL語言模型SQL語句 7255 0

最全ChatGPT技術(shù)匯總

ChatGPT的強(qiáng)大能力是顯而易見的，但對(duì)于人工智能領(lǐng)域不太熟悉的人，對(duì)這種黑盒的技術(shù)仍然會(huì)擔(dān)憂或者不信任。恐懼通常來自于不了解，因此本文將為大家全面剖...

2023-03-22 標(biāo)簽：人工智能語言模型ChatGPT 4185 0

ELMER: 高效強(qiáng)大的非自回歸預(yù)訓(xùn)練文本生成模型

每個(gè)單詞都依賴于輸入文本與之前生成的單詞。自回歸生成模型只建模了前向的單詞依賴關(guān)系，依次生成的結(jié)構(gòu)也使得自回歸模型難以并行化。目前大部分預(yù)訓(xùn)練生成模型均...

2023-03-13 標(biāo)簽：模型語言模型聊天機(jī)器人 1661 0

大型語言模型有哪些用途？大型語言模型如何運(yùn)作呢？

大型語言模型能識(shí)別、總結(jié)、翻譯、預(yù)測(cè)和生成文本及其他內(nèi)容。

2023-03-08 標(biāo)簽：語言模型GPTChatGPT 8477 0

從ChatGPT看知識(shí)管理及知識(shí)圖譜的發(fā)展

知識(shí)管理涉及到用于在組織中捕獲、存儲(chǔ)和共享知識(shí)的流程和技術(shù)。在聊天機(jī)器人設(shè)計(jì)的背景下，知識(shí)管理可以幫助確保聊天機(jī)器人能夠訪問廣泛的相關(guān)信息，并可以為用戶...

2023-03-03 標(biāo)簽：語言模型知識(shí)管理聊天機(jī)器人 2126 0

使用BLIP-2 零樣本“圖生文”

現(xiàn)代計(jì)算機(jī)視覺和自然語言模型在能力越來越強(qiáng)大的同時(shí)，模型尺寸也隨之顯著增大。由于當(dāng)前進(jìn)行一次單模態(tài)模型的預(yù)訓(xùn)練既耗費(fèi)資源又昂貴，因此端到端視覺語言預(yù)訓(xùn)練...

2023-03-03 標(biāo)簽：編碼器計(jì)算機(jī)視覺語言模型 2199 0

SimANS：簡(jiǎn)單有效的困惑負(fù)樣本采樣方法

為訓(xùn)練該稠密檢索模型，已有方法通常基于一對(duì)比學(xué)習(xí)訓(xùn)練目標(biāo)，即拉近語義一致的Query和Document的表示（Positive），并推遠(yuǎn)語義無關(guān)的Doc...

2023-03-03 標(biāo)簽：參數(shù)語言模型數(shù)據(jù)集 1624 0

LLaMA論文研讀：小參數(shù)+大數(shù)據(jù)的開放、高效基礎(chǔ)語言模型閱讀筆記

這些努力都是基于這樣的假設(shè)：更多的參數(shù)會(huì)帶來更好的性能。然而，Hoffmann等人（2022）最近的工作表明，在給定的計(jì)算預(yù)算下，最好的性能不是由最大的...

2023-03-03 標(biāo)簽：語言模型數(shù)據(jù)集大數(shù)據(jù) 2381 0