女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于ICL范式的LLM的最高置信度預(yù)測(cè)方案

深度學(xué)習(xí)自然語(yǔ)言處理 ? 來源:深度學(xué)習(xí)自然語(yǔ)言處理 ? 2023-11-24 11:20 ? 次閱讀

作者:cola

雖然大多數(shù)現(xiàn)有的LLM提示工程只專注于如何在單個(gè)提示輸入中選擇一組更好的數(shù)據(jù)樣本(In-Context Learning或ICL),但為什么我們不能設(shè)計(jì)和利用多個(gè)提示輸入來進(jìn)一步提高LLM性能?本文提出上下文采樣(ICS),一種低資源LLM提示工程技術(shù),通過優(yōu)化多個(gè)ICL提示輸入的結(jié)構(gòu)來產(chǎn)生最有置信度的預(yù)測(cè)結(jié)果。

介紹

指令微調(diào)的LLMs,如Flan-T5、LLaMA和Mistral展示了通用的自然語(yǔ)言理解(NLI)和生成(NLG)能力。然而,解決實(shí)際任務(wù)需要廣泛的領(lǐng)域?qū)I(yè)知識(shí),這對(duì)LLM來說仍然具有挑戰(zhàn)性。研究人員提出了各種激勵(lì)策略來探索LLM的能力。一個(gè)突出的方法是少樣本上下文學(xué)習(xí)(ICL),通過向提示輸入插入一些數(shù)據(jù)示例,特別是對(duì)未見任務(wù)的能力提高了LLM的任務(wù)解釋和解決能力。最近的幾項(xiàng)工作研究了不同ICL設(shè)置的影響,包括數(shù)量、順序和組合。然而,最好的ICL策略還沒有共識(shí)。

本文假設(shè)不同的ICL為L(zhǎng)LM提供了關(guān)于任務(wù)的不同知識(shí),導(dǎo)致對(duì)相同數(shù)據(jù)的不同理解和預(yù)測(cè)。因此,一個(gè)直接的研究問題出現(xiàn)了:llm能否用多個(gè)ICL提示輸入來增強(qiáng),以提供最可信的預(yù)測(cè)?為解決這個(gè)問題,本文提出上下文采樣(ICS)。ICS遵循三步流程:采樣、增強(qiáng)和驗(yàn)證,如圖1所示。

dd386940-8877-11ee-939d-92fbcf53809c.png

ICS策略

給定一個(gè)自然語(yǔ)言任務(wù)指令和一個(gè)數(shù)據(jù),指令微調(diào)的SOTA可以接受輸入,生成一個(gè)輸出,其中表示上下文中的注釋示例,是預(yù)測(cè)結(jié)果。

示例可以為L(zhǎng)LM提供:

直接理解任務(wù)指令(I)和預(yù)期輸出

間接指導(dǎo)如何解決任務(wù)。

本文假設(shè)不同的ICL示例集為L(zhǎng)LM提供了關(guān)于該任務(wù)的不同知識(shí)。因此,LLM可以根據(jù)不同的ICL提示輸入改變對(duì)相同數(shù)據(jù)的預(yù)測(cè),但預(yù)測(cè)的變化最終將收斂到一個(gè)最可信的預(yù)測(cè)。

ICS的框架如圖1所示。

從未標(biāo)記的數(shù)據(jù)池中采樣示例候選集并獲取注釋,

用不同的ICL組合增加標(biāo)簽

驗(yàn)證置信度最高的標(biāo)簽作為增強(qiáng)標(biāo)簽的最終預(yù)測(cè)。

ICS方法是模型無關(guān)的且“即插即用”,可以以最小的工作量切換到不同的采樣、增強(qiáng)和驗(yàn)證算法

示例候選集采樣

從許多未標(biāo)記的數(shù)據(jù)中采樣少量數(shù)據(jù)作為ICL示例,通常分為兩種類型:基于數(shù)據(jù)多樣性和基于模型概率。我們的策略堅(jiān)持基于集群的策略(即核心集),旨在識(shí)別代表所有未標(biāo)記數(shù)據(jù)的示例,同時(shí)最大化這些選定實(shí)例的多樣性。該策略用句子轉(zhuǎn)換器編碼計(jì)算每個(gè)數(shù)據(jù)的余弦相似度,其中embed表示句Transformer Embedding。然后,根據(jù)相似度得分對(duì)候選樣本進(jìn)行排序,并檢索個(gè)相同間隔的樣本集,以保證樣本集的多樣性。本文試圖確定樣本量和增強(qiáng)的ICL組合數(shù)量,在下面三個(gè)角度上取得平衡:

包含足夠的多樣性充分表示基礎(chǔ)數(shù)據(jù),

置信預(yù)測(cè)具有魯棒性,

最小化注釋成本。

ICL組合增強(qiáng)

如圖1所示,ICS通過為要預(yù)測(cè)的相同數(shù)據(jù)構(gòu)建不同的ICL組合來增強(qiáng)標(biāo)簽,然后獲得所有標(biāo)簽中置信度最高的標(biāo)簽。然而,如果要求LLM預(yù)測(cè)候選的每個(gè)組合,計(jì)算量可能會(huì)很大。我們認(rèn)為,ICS不需要每個(gè)ICL組合來找到模型的最可信的標(biāo)簽。類似于人類投票,少數(shù)代表代表更多的人口投票,我們計(jì)劃調(diào)查合理數(shù)量的“代表”,即及時(shí)的輸入。用一個(gè)隨機(jī)和基于數(shù)據(jù)多樣性的算法作為基準(zhǔn),用于示例增強(qiáng),并研究了策略差異的影響。兩種方法都是從候選列表中迭代采樣次,其中基于多樣性的增強(qiáng)策略使用上述策略。然后對(duì)相同的測(cè)試數(shù)據(jù)查詢LLM次,得到個(gè)弱標(biāo)簽,記為。

置信標(biāo)簽驗(yàn)證

既然我們從上述ICS步驟中獲得了一組標(biāo)簽,就可以應(yīng)用一些驗(yàn)證算法來找到置信度最高的標(biāo)簽,獲得了最可信的預(yù)測(cè)。可以想象ICL有潛力提供模型可信的無監(jiān)督標(biāo)簽,以在資源匱乏的場(chǎng)景中迭代地微調(diào)LLM,這些場(chǎng)景中專家注釋難以訪問且昂貴。

實(shí)驗(yàn)

實(shí)驗(yàn)設(shè)置

采用了兩個(gè)SOTA LLMs FLAN-T5-XL和Mistral,并在三個(gè)難度越來越大的NLI任務(wù)上進(jìn)行實(shí)驗(yàn):eSNLI、Multi-NLI和ANLI。排除了LLaMA-2的原因是初步實(shí)驗(yàn)顯示了LLaMA-2在“中性”類別上有過擬合問題。我們使用vanilla ICL作為基線。利用隨機(jī)抽樣來構(gòu)建基礎(chǔ)ICS策略的ICS提示輸入,并使用多數(shù)代表方法來找到最可信的標(biāo)簽。對(duì)每個(gè)提示輸入使用3個(gè)示例。操作ICS的兩個(gè)控制變量:采樣的代表性數(shù)據(jù)的大小,其中,以及每個(gè)待預(yù)測(cè)數(shù)據(jù)的增強(qiáng)示例組合的數(shù)量,其中,其中是ICL基線。對(duì)于真實(shí)場(chǎng)景,500個(gè)注釋是一個(gè)合理的預(yù)算。在10次試驗(yàn)中取平均值。

對(duì)LLaMA-2進(jìn)行分析

利用三種不同的自然語(yǔ)言指令,在ANLI上對(duì)LLaMA-2進(jìn)行初始推理實(shí)驗(yàn):

確定一個(gè)假設(shè)是否是蘊(yùn)涵的,中性的,矛盾的前提。

將一對(duì)前提和假設(shè)句分為三類:蘊(yùn)涵句、中性句、矛盾句。

通過蘊(yùn)涵、中性、矛盾來預(yù)測(cè)前提和假設(shè)之間的關(guān)系。

dd660724-8877-11ee-939d-92fbcf53809c.png

結(jié)果如表2所示,我們可以很容易地觀察到,盡管改變了指令,LLaMA-2傾向于過度預(yù)測(cè)其他兩個(gè)類別的"中性",而真實(shí)分布是跨類別的。因此,我們?cè)诠ぷ髦惺÷粤薒LaMA-2。可能有不同的原因?qū)е铝诉@個(gè)問題;例如,LLaMA-2對(duì)NLI任務(wù)或共享同一組目標(biāo)類別("蘊(yùn)含"、"中性"和"矛盾")的類似任務(wù)進(jìn)行了過擬合。

實(shí)驗(yàn)結(jié)果

在圖2中,我們展示了時(shí),基線ICL和我們的ICS策略對(duì)每個(gè)模型和數(shù)據(jù)集的預(yù)測(cè)精度。基線和我們的策略之間的標(biāo)準(zhǔn)差變化也用右縱軸的虛線表示。以隨機(jī)采樣策略為基準(zhǔn)的ICS策略,可以不斷提高LLM在每個(gè)組合中的預(yù)測(cè)性能,證明了所提出的ICS管道的有效性。

dd7dbbb2-8877-11ee-939d-92fbcf53809c.png

此外,我們觀察到LLM對(duì)ICS有明顯的敏感性。具體來說,對(duì)于Flan-T5來說,ICS策略提供的精度提升遠(yuǎn)小于Mistral,這可以歸因于Flan-T5可能會(huì)過擬合我們實(shí)驗(yàn)的三個(gè)數(shù)據(jù)集或NLI任務(wù)。另一方面,Mistral證明了ICS策略對(duì)準(zhǔn)確性的顯著提升,在所有數(shù)據(jù)集上的平均提升超過5%。當(dāng)時(shí),兩個(gè)模型的標(biāo)準(zhǔn)偏差減少得最多,當(dāng)超過10時(shí),增加的提供的性能改善開始逐漸減少。對(duì)于示例候選采樣,一旦超過100,精度的提高就不顯著。樣本量超過100可以被認(rèn)為具有足夠的多樣性和代表性。

表3和表4報(bào)告了對(duì)FlanT5XL和Mistral-7b的完整評(píng)估結(jié)果。

ddaa6ab8-8877-11ee-939d-92fbcf53809c.png

ddd7cd5a-8877-11ee-939d-92fbcf53809c.png

消融實(shí)驗(yàn)

使用Mistral-7B和性能最佳的設(shè)置:和。從3個(gè)NLI數(shù)據(jù)集中隨機(jī)采樣3000和1000數(shù)據(jù)作為訓(xùn)練集和測(cè)試集。我們共進(jìn)行了4種情況下的10次試驗(yàn),記為組合策略,其中RD為隨機(jī)策略,DS為基于數(shù)據(jù)相似性的策略。實(shí)驗(yàn)結(jié)果如表1所示:

de08c392-8877-11ee-939d-92fbcf53809c.png

基于多樣性的示例候選采樣和組合增強(qiáng)策略可以有效提高ICL的性能。

總結(jié)

本文提出上下文采樣(ICS),一種新的基于ICL的范式,用于探測(cè)LLM的最高置信度預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明,與傳統(tǒng)的ICL方法相比,ICS方法提高了ICL的準(zhǔn)確性,降低了標(biāo)準(zhǔn)偏差。還研究了不同樣本數(shù)量和ICL組合量的影響,然后進(jìn)一步進(jìn)行消融實(shí)驗(yàn),以說明基于ICS簡(jiǎn)單但有效的數(shù)據(jù)多樣性采樣策略的有用性。

限制

本文的主要重點(diǎn)是提出并證明ICS的有效性。然而,盡管對(duì)不同的和組合進(jìn)行了廣泛的實(shí)驗(yàn),但仍有幾個(gè)潛在變量需要進(jìn)一步分析。例如,盡管我們考慮了3個(gè)不同難度的數(shù)據(jù)集,并且每個(gè)ICL組合是任意的,但3個(gè)數(shù)據(jù)集都是NLI任務(wù)。此外,只進(jìn)行了一項(xiàng)基于數(shù)據(jù)多樣性的候選采樣和組合增強(qiáng)策略的小規(guī)模消融研究。并且我們的實(shí)驗(yàn)原本打算由三個(gè)SOTA LLM組成,但由于LLaMA-2傾向于預(yù)測(cè)“中性”類別,因此不包括它。我們?nèi)杂懈鞣N其他的指令微調(diào)LLM沒有包括在這項(xiàng)工作中,如InstructGPT。

審核編輯:黃飛

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 轉(zhuǎn)換器
    +關(guān)注

    關(guān)注

    27

    文章

    8962

    瀏覽量

    150788
  • Sample
    +關(guān)注

    關(guān)注

    0

    文章

    11

    瀏覽量

    8893
  • 自然語(yǔ)言
    +關(guān)注

    關(guān)注

    1

    文章

    291

    瀏覽量

    13608
  • prompt
    +關(guān)注

    關(guān)注

    0

    文章

    15

    瀏覽量

    2747
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    320

    瀏覽量

    687

原文標(biāo)題:ICL的時(shí)候,更多sample好還是更多prompt好呢?

文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    詳解 LLM 推理模型的現(xiàn)狀

    2025年,如何提升大型語(yǔ)言模型(LLM)的推理能力成了最熱門的話題之一,大量?jī)?yōu)化推理能力的新策略開始出現(xiàn),包括擴(kuò)展推理時(shí)間計(jì)算、運(yùn)用強(qiáng)化學(xué)習(xí)、開展監(jiān)督微調(diào)和進(jìn)行提煉等。本文將深入探討LLM推理優(yōu)化
    的頭像 發(fā)表于 04-03 12:09 ?317次閱讀
    詳解 <b class='flag-5'>LLM</b> 推理模型的現(xiàn)狀

    無法在OVMS上運(yùn)行來自Meta的大型語(yǔ)言模型 (LLM),為什么?

    無法在 OVMS 上運(yùn)行來自 Meta 的大型語(yǔ)言模型 (LLM),例如 LLaMa2。 從 OVMS GitHub* 存儲(chǔ)庫(kù)運(yùn)行 llama_chat Python* Demo 時(shí)遇到錯(cuò)誤。
    發(fā)表于 03-05 08:07

    傳感器仿真模型的可信度評(píng)估方案

    由于仿真是對(duì)真實(shí)世界進(jìn)行抽象建模并通過編程實(shí)現(xiàn),仿真得到的計(jì)算結(jié)果與真實(shí)仿真對(duì)象的表現(xiàn)存在差異,因此模擬仿真測(cè)試的可信度成為當(dāng)前亟需解決的關(guān)鍵問題,需要提出有效的評(píng)估方法。
    的頭像 發(fā)表于 02-14 16:41 ?3643次閱讀
    傳感器仿真模型的可<b class='flag-5'>信度</b>評(píng)估<b class='flag-5'>方案</b>

    小白學(xué)大模型:構(gòu)建LLM的關(guān)鍵步驟

    隨著大規(guī)模語(yǔ)言模型(LLM)在性能、成本和應(yīng)用前景上的快速發(fā)展,越來越多的團(tuán)隊(duì)開始探索如何自主訓(xùn)練LLM模型。然而,是否從零開始訓(xùn)練一個(gè)LLM,并非每個(gè)組織都適合。本文將根據(jù)不同的需求與資源,幫助
    的頭像 發(fā)表于 01-09 12:12 ?842次閱讀
    小白學(xué)大模型:構(gòu)建<b class='flag-5'>LLM</b>的關(guān)鍵步驟

    什么是LLMLLM在自然語(yǔ)言處理中的應(yīng)用

    隨著人工智能技術(shù)的飛速發(fā)展,自然語(yǔ)言處理(NLP)領(lǐng)域迎來了革命性的進(jìn)步。其中,大型語(yǔ)言模型(LLM)的出現(xiàn),標(biāo)志著我們對(duì)語(yǔ)言理解能力的一次飛躍。LLM通過深度學(xué)習(xí)和海量數(shù)據(jù)訓(xùn)練,使得機(jī)器能夠以前
    的頭像 發(fā)表于 11-19 15:32 ?3374次閱讀

    如何訓(xùn)練自己的LLM模型

    訓(xùn)練自己的大型語(yǔ)言模型(LLM)是一個(gè)復(fù)雜且資源密集的過程,涉及到大量的數(shù)據(jù)、計(jì)算資源和專業(yè)知識(shí)。以下是訓(xùn)練LLM模型的一般步驟,以及一些關(guān)鍵考慮因素: 定義目標(biāo)和需求 : 確定你的LLM將用
    的頭像 發(fā)表于 11-08 09:30 ?1399次閱讀

    LLM技術(shù)對(duì)人工智能發(fā)展的影響

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(LLM)技術(shù)已經(jīng)成為推動(dòng)AI領(lǐng)域進(jìn)步的關(guān)鍵力量。LLM技術(shù)通過深度學(xué)習(xí)和自然語(yǔ)言處理技術(shù),使得機(jī)器能夠理解和生成自然語(yǔ)言,極大地?cái)U(kuò)展了人工智能的應(yīng)用范圍
    的頭像 發(fā)表于 11-08 09:28 ?1788次閱讀

    LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

    在人工智能領(lǐng)域,LLM(Large Language Models,大型語(yǔ)言模型)和傳統(tǒng)機(jī)器學(xué)習(xí)是兩種不同的技術(shù)路徑,它們?cè)谔幚頂?shù)據(jù)、模型結(jié)構(gòu)、應(yīng)用場(chǎng)景等方面有著顯著的差異。 1. 模型結(jié)構(gòu)
    的頭像 發(fā)表于 11-08 09:25 ?1721次閱讀

    大模型LLM與ChatGPT的技術(shù)原理

    在人工智能領(lǐng)域,大模型(Large Language Model, LLM)和ChatGPT等自然語(yǔ)言處理技術(shù)(Natural Language Processing, NLP)正逐步改變著人類
    的頭像 發(fā)表于 07-10 10:38 ?1518次閱讀

    llm模型有哪些格式

    LLM(Large Language Model,大型語(yǔ)言模型)是一種深度學(xué)習(xí)模型,主要用于處理自然語(yǔ)言處理(NLP)任務(wù)。LLM模型的格式多種多樣,以下是一些常見的LLM模型格式
    的頭像 發(fā)表于 07-09 09:59 ?1302次閱讀

    LLM模型和LMM模型的區(qū)別

    LLM(線性混合模型)和LMM(線性混合效應(yīng)模型)之間的區(qū)別如下: 定義: LLM(線性混合模型)是一種統(tǒng)計(jì)模型,用于分析具有固定效應(yīng)和隨機(jī)效應(yīng)的線性數(shù)據(jù)。它允許研究者考慮數(shù)據(jù)中的非獨(dú)立性,例如
    的頭像 發(fā)表于 07-09 09:57 ?2339次閱讀

    llm模型和chatGPT的區(qū)別

    LLM(Large Language Model)是指大型語(yǔ)言模型,它們是一類使用深度學(xué)習(xí)技術(shù)構(gòu)建的自然語(yǔ)言處理(NLP)模型。LLM模型可以處理各種語(yǔ)言任務(wù),如文本生成、文本分類、機(jī)器翻譯等。目前
    的頭像 發(fā)表于 07-09 09:55 ?1895次閱讀

    LLM模型的應(yīng)用領(lǐng)域

    在本文中,我們將深入探討LLM(Large Language Model,大型語(yǔ)言模型)的應(yīng)用領(lǐng)域。LLM是一種基于深度學(xué)習(xí)的人工智能技術(shù),它能夠理解和生成自然語(yǔ)言文本。近年來,隨著計(jì)算能力的提高
    的頭像 發(fā)表于 07-09 09:52 ?1184次閱讀

    什么是LLMLLM的工作原理和結(jié)構(gòu)

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(Large Language Model,簡(jiǎn)稱LLM)逐漸成為自然語(yǔ)言處理(NLP)領(lǐng)域的研究熱點(diǎn)。LLM以其強(qiáng)大的文本生成、理解和推理能力,在文本
    的頭像 發(fā)表于 07-02 11:45 ?1.3w次閱讀

    ICL5101與ICL5102性能對(duì)比

    ICL5101與ICL5102性能對(duì)比-中文
    發(fā)表于 06-17 14:26 ?1次下載