女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

港中文賈佳亞團(tuán)隊(duì)聯(lián)手MIT發(fā)布超長(zhǎng)文本擴(kuò)展技術(shù),打破LLM遺忘魔咒

人工智能與大數(shù)據(jù)技術(shù) ? 來(lái)源:新智元 ? 2023-10-18 15:54 ? 次閱讀

【導(dǎo)讀】大模型上下文從此不再受限!港中文賈佳亞團(tuán)隊(duì)聯(lián)手MIT發(fā)布了全新超長(zhǎng)文本擴(kuò)展技術(shù)LongLoRA,只需2行代碼,讓LLM看小說(shuō),讀論文,輕松拿捏。

中途迷失、模型偷懶、上下文越長(zhǎng)大模型越笨……

體驗(yàn)過(guò)LLM的人,多少都會(huì)對(duì)文本輸入長(zhǎng)度帶來(lái)的限制有所感觸:

想和大模型討論一些稍長(zhǎng)的內(nèi)容,就需要拆分輸入,而前面輸入的要點(diǎn),很快就會(huì)被大模型忘記。

實(shí)際上,這些都是典型的大語(yǔ)言模型對(duì)話缺陷。就像先天有注意力缺陷的兒童,難以專(zhuān)注看完一本新書(shū)。而缺陷的關(guān)鍵,在于模型缺乏長(zhǎng)文本處理能力。

如今,這個(gè)局面已經(jīng)被打破了!

就在近日,由賈佳亞團(tuán)隊(duì)聯(lián)合MIT發(fā)布的新技術(shù)和新模型,悄然登上各大開(kāi)源網(wǎng)站的熱榜:

Hugging Face熱榜第一、Papers With Code熱度第一,Github全部Python項(xiàng)目熱度第五、Github Stars一周內(nèi)破千,Twitter上的相關(guān)技術(shù)帖子瀏覽量近18萬(wàn)。..。..

0f7c3d5e-6d58-11ee-939d-92fbcf53809c.png

論文地址:https://arxiv.org/abs/2309.12307

代碼和Demo地址:https://github.com/dvlab-research/LongLoRA

0f8c40e6-6d58-11ee-939d-92fbcf53809c.png

GitHub Stars已達(dá)1.3k

0f9797d4-6d58-11ee-939d-92fbcf53809c.png

Twitter上的相關(guān)技術(shù)帖子瀏覽量近18萬(wàn)

這項(xiàng)名為L(zhǎng)ongLoRA的技術(shù)實(shí)用但卻簡(jiǎn)單得令人驚訝:

只需兩行代碼、一臺(tái)8卡A100機(jī)器,便可將7B模型的文本長(zhǎng)度拓展到100k tokens,70B模型的文本長(zhǎng)度拓展到32k tokens。

同時(shí),該研究團(tuán)隊(duì)還發(fā)布了首個(gè)擁有70B參數(shù)量的長(zhǎng)文本對(duì)話大語(yǔ)言模型LongAlpaca。

全球首個(gè)70B長(zhǎng)文本大語(yǔ)言模型發(fā)布

LongLoRA的提出,讓全球大語(yǔ)言模型的對(duì)話缺陷第一次得到解決,自此,幾十頁(yè)的論文、幾百頁(yè)的報(bào)告、鴻篇巨制不再成為大模型盲區(qū)。

對(duì)此,有專(zhuān)業(yè)人士激動(dòng)地表示,LongLoRA是大語(yǔ)言模型迷宮中的希望之燈!

它代表著業(yè)界對(duì)長(zhǎng)文本大語(yǔ)言模型的重新思考和關(guān)注,有效擴(kuò)展了大語(yǔ)言模型的上下文窗口,允許模型考慮和處理較長(zhǎng)的文本序列,是大語(yǔ)言模型的革新性發(fā)明。

0fa3aa1a-6d58-11ee-939d-92fbcf53809c.png

除了技術(shù)革新外,大語(yǔ)言模型處理長(zhǎng)文本問(wèn)題的一大難點(diǎn)還在于缺少公開(kāi)的長(zhǎng)文本對(duì)話數(shù)據(jù)。

為此,研究團(tuán)隊(duì)特意收集了9k條長(zhǎng)文本問(wèn)答語(yǔ)料對(duì),包含針對(duì)名著、論文、深度報(bào)道甚至財(cái)務(wù)報(bào)表的各類(lèi)問(wèn)答。

光會(huì)回答長(zhǎng)問(wèn)題還不夠,該團(tuán)隊(duì)又挑選了3k的短問(wèn)答語(yǔ)料與9K的長(zhǎng)問(wèn)答語(yǔ)料混合訓(xùn)練,讓長(zhǎng)文本大模型同時(shí)具備短文本對(duì)話能力。這個(gè)完整的數(shù)據(jù)集被稱為L(zhǎng)ongAlpaca-12k,目前已經(jīng)開(kāi)源。

在LongAlpaca-12k數(shù)據(jù)集基礎(chǔ)上,研究團(tuán)隊(duì)對(duì)不同參數(shù)大小7B、13B、70B進(jìn)行了訓(xùn)練和評(píng)測(cè),開(kāi)源模型包括LongAlpaca-7B、LongAlpaca-13B和LongAlpaca-70B。

看小說(shuō)、改論文、指點(diǎn)經(jīng)濟(jì)堪稱全能王

話不多說(shuō),盲選幾個(gè)demo,一起看看應(yīng)用了LongLoRA技術(shù)疊加12K問(wèn)答語(yǔ)料的大模型LongAlpaca效果。

0fad40ca-6d58-11ee-939d-92fbcf53809c.png

讓系統(tǒng)新讀一篇論文,并根據(jù)ICLR的審查指南,對(duì)其提出修改意見(jiàn),從而提升該論文的接收率:

LongAlpaca的意見(jiàn)是:通過(guò)更精確地闡明新穎性,提供更嚴(yán)格和更有對(duì)比性的實(shí)驗(yàn)結(jié)果(包括具體的數(shù)據(jù)集和指標(biāo))、更廣泛的應(yīng)用和未來(lái)發(fā)展方向,重點(diǎn)呈現(xiàn)關(guān)鍵貢獻(xiàn)和影響,論文被接受的機(jī)會(huì)將得到提高。

0fcaaae8-6d58-11ee-939d-92fbcf53809c.png

現(xiàn)在,讓系統(tǒng)讀兩篇新的不同的論文,讓LongAlpaca概括ICLR和CVPR兩個(gè)會(huì)議之間的風(fēng)格區(qū)別:

LongAlpaca總結(jié)認(rèn)為,CVPR論文傾向更具結(jié)構(gòu)性和實(shí)驗(yàn)性的風(fēng)格,專(zhuān)注于實(shí)用性和技術(shù)性。而ICLR的論文風(fēng)格更加靈活,側(cè)重關(guān)鍵的理論分析和數(shù)學(xué)推導(dǎo),而非標(biāo)準(zhǔn)格式。

可以看出,經(jīng)過(guò)訓(xùn)練的LongAlpaca模型已經(jīng)可以很輕松地接受新的長(zhǎng)篇學(xué)術(shù)論文,在學(xué)術(shù)相關(guān)問(wèn)題的回答上相當(dāng)精準(zhǔn)。

接下來(lái),再看看LongAlpaca模型在頗高閱讀和理解門(mén)檻的經(jīng)濟(jì)領(lǐng)域的解讀表現(xiàn)。

0fd011c2-6d58-11ee-939d-92fbcf53809c.png

0fe03494-6d58-11ee-939d-92fbcf53809c.png

根據(jù)國(guó)際貨幣基金組織從2012年到2023年的全球經(jīng)濟(jì)展望的概述合集,對(duì)經(jīng)濟(jì)形勢(shì)進(jìn)行逐年總結(jié)以及對(duì)未來(lái)經(jīng)濟(jì)趨勢(shì)進(jìn)行預(yù)測(cè):

LongAlpaca告訴我們,2023年全球經(jīng)濟(jì)形勢(shì)不明朗,跟2022年相比,增長(zhǎng)預(yù)計(jì)放緩;未來(lái)幾年,全球經(jīng)濟(jì)擴(kuò)張速度偏溫和并將低于預(yù)期,而地緣政治緊張、金融市場(chǎng)波動(dòng)等大的挑戰(zhàn)依然存在,需通過(guò)多邊合作和結(jié)構(gòu)性改革小心應(yīng)對(duì)。

此外,LongAlpaca還可以讀新的長(zhǎng)篇小說(shuō),讀完后對(duì)內(nèi)容進(jìn)行分析。

下面選取的對(duì)比模型是13B參數(shù)的LongAlpaca和Llama2,且看各自表現(xiàn)。

0fe4e098-6d58-11ee-939d-92fbcf53809c.png

名著《西游記》中,為什么孫悟空在大鬧天宮時(shí)很厲害,但取經(jīng)路上卻屢屢受挫?

LongAlpaca給出了5點(diǎn)原因,大概可總結(jié)為:「孫悟空的不成熟、強(qiáng)大的對(duì)手、力量的限制、敵人的欺騙、最初缺少同伴等因素導(dǎo)致了他在旅途中的失敗。但隨著時(shí)間推移,他獲得了智慧、經(jīng)驗(yàn)和戰(zhàn)友,使他最終戰(zhàn)勝了最強(qiáng)大的敵人?!?/p>

而Llama2并沒(méi)有給出正確答案:「雖然他確實(shí)大鬧天宮,但說(shuō)他代表著不敗的力量并不一定準(zhǔn)確。事實(shí)上,他最終在西游記中被強(qiáng)大的唐三藏打敗。」

0ff7dff4-6d58-11ee-939d-92fbcf53809c.png

這一次讓系統(tǒng)新讀一次《三體》,然后問(wèn)第一部中,葉文潔為什么要聯(lián)系外星人,而后期又為什么后悔?

LongAlpaca認(rèn)為,葉文潔最初接觸外星人是出于理想主義和復(fù)仇,但隨著時(shí)間的推移,她對(duì)人類(lèi)的看法發(fā)生了變化,意識(shí)到自己可能給全人類(lèi)帶來(lái)的危險(xiǎn),她的悔恨與日俱增?;卮鸬檬智逦?。

而Llama2的回答則是,「通過(guò)與外星人的互動(dòng),她希望能更深入地了解宇宙的本質(zhì),以及自己在宇宙中的位置。葉文潔逐漸意識(shí)到,外星人和他們的技術(shù)并不能解決她的問(wèn)題?!够卮鸹\統(tǒng),之后開(kāi)始對(duì)小說(shuō)整體進(jìn)行評(píng)論,答非所問(wèn)。

從模型給出的答案可發(fā)現(xiàn),一些模型如Llama2[2]可能在預(yù)訓(xùn)練過(guò)程中見(jiàn)過(guò)相關(guān)小說(shuō),但如果在提問(wèn)時(shí)進(jìn)行僅根據(jù)小說(shuō)題目進(jìn)行短文本提問(wèn)的話,回答并不理想。

兩個(gè)模型的回答對(duì)比,高下立見(jiàn)。LongAlpaca改學(xué)術(shù)論文、點(diǎn)評(píng)全球經(jīng)濟(jì)大勢(shì)和讀小說(shuō),都是一把好手,完勝Llama2。

兩行代碼和三個(gè)關(guān)鍵結(jié)論

Llama2可以說(shuō)是AI社區(qū)內(nèi)最強(qiáng)大的開(kāi)源大模型之一,行業(yè)位置領(lǐng)先,LongAlpaca居然可以完勝。其背后的LongLoRA技術(shù)成功引起網(wǎng)友們的注意,到底是怎么做到的?

原來(lái)大語(yǔ)言模型對(duì)長(zhǎng)文本處理過(guò)程中,計(jì)算量的主要開(kāi)銷(xiāo)集中在自注意力機(jī)制(self-attention),其開(kāi)銷(xiāo)隨著文本長(zhǎng)度成平方次地增加。

針對(duì)這個(gè)問(wèn)題,研究團(tuán)隊(duì)提出LongLoRA技術(shù),并用分組和偏移的方式來(lái)對(duì)全局自注意力機(jī)制進(jìn)行模擬。

100e3a7e-6d58-11ee-939d-92fbcf53809c.png

簡(jiǎn)單來(lái)說(shuō),就是將長(zhǎng)文本對(duì)應(yīng)的tokens拆分成不同的組,在每組內(nèi)部做自注意力計(jì)算,而分組的方式在不同注意力頭(attention head)上有所偏移。

這樣的方式既可以大幅度節(jié)約計(jì)算量,又可以維持全局感受野的傳遞。

而且,這個(gè)實(shí)現(xiàn)方法也非常簡(jiǎn)潔,僅兩行代碼即可完成!

10135b12-6d58-11ee-939d-92fbcf53809c.png

除此之外,LongLoRA還探索了低秩訓(xùn)練的方式。

原有的低秩訓(xùn)練方式,如LoRA[5],無(wú)法在文本長(zhǎng)度遷移上取得良好的效果。

而LongLoRA在低秩訓(xùn)練的基礎(chǔ)上,引入嵌入層(Embedding layer和 Normalization layers)進(jìn)行微調(diào),從而達(dá)到可以和全參數(shù)微調(diào)(Full fine-tune)逼近的效果。

101f5340-6d58-11ee-939d-92fbcf53809c.png

進(jìn)行不同長(zhǎng)度文本擴(kuò)展和訓(xùn)練時(shí),LongLoRA、LoRA和全參數(shù)微調(diào)不同技術(shù)的具體效果如何,可以參考三個(gè)維度表現(xiàn):

在Perplexity-困惑度上,原有LoRA方法的性能在不斷惡化,而LongLoRA和全參數(shù)微調(diào)都能在各種文本長(zhǎng)度下維持很好的效果;

在顯存消耗上,相比于全參數(shù)微調(diào),LongLoRA和原有LoRA都有大幅度的節(jié)省。例如,對(duì)于8k長(zhǎng)度的模型訓(xùn)練,相比于全參數(shù)微調(diào),LongLoRA將顯存消耗從46.3GB降低到25.6GB。

在訓(xùn)練時(shí)間上,對(duì)于64k長(zhǎng)度的模型訓(xùn)練,相比于常規(guī)LoRA,LongLoRA將訓(xùn)練時(shí)間從90~100小時(shí)左右降低到52.4小時(shí),而全參數(shù)微調(diào)超過(guò)1000小時(shí)。

極簡(jiǎn)的訓(xùn)練方法、極少的計(jì)算資源和時(shí)間消耗,以及極佳的準(zhǔn)確性,令LongLoRA大規(guī)模推廣成為可能。

目前,相關(guān)技術(shù)與模型已全部開(kāi)源,感興趣的用戶們可以自己部署感受。

值得一提的是,這是賈佳亞團(tuán)隊(duì)繼8月9日發(fā)布的「可以分割一切」的多模態(tài)大模型LISA后的又一力作。

相距不過(guò)短短兩個(gè)月,不得不說(shuō),這研究速度和能力跟LongLoRA一樣驚人。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 語(yǔ)言模型
    +關(guān)注

    關(guān)注

    0

    文章

    558

    瀏覽量

    10682
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1223

    瀏覽量

    25283
  • LLM
    LLM
    +關(guān)注

    關(guān)注

    1

    文章

    320

    瀏覽量

    687

原文標(biāo)題:2行代碼,「三體」一次讀完!港中文賈佳亞團(tuán)隊(duì)聯(lián)手MIT發(fā)布超長(zhǎng)文本擴(kuò)展技術(shù),打破LLM遺忘魔咒

文章出處:【微信號(hào):TheBigData1024,微信公眾號(hào):人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    LM Studio使用NVIDIA技術(shù)加速LLM性能

    隨著 AI 使用場(chǎng)景不斷擴(kuò)展(從文檔摘要到定制化軟件代理),開(kāi)發(fā)者和技術(shù)愛(ài)好者正在尋求以更 快、更靈活的方式來(lái)運(yùn)行大語(yǔ)言模型(LLM)。
    的頭像 發(fā)表于 06-06 15:14 ?88次閱讀
    LM Studio使用NVIDIA<b class='flag-5'>技術(shù)</b>加速<b class='flag-5'>LLM</b>性能

    詳解 LLM 推理模型的現(xiàn)狀

    領(lǐng)域的最新研究進(jìn)展,特別是自DeepSeekR1發(fā)布后興起的推理時(shí)間計(jì)算擴(kuò)展相關(guān)內(nèi)容。在LLM中實(shí)施和改進(jìn)推理簡(jiǎn)單來(lái)說(shuō),基于LLM的推理模型是一種旨在通過(guò)生成中間
    的頭像 發(fā)表于 04-03 12:09 ?317次閱讀
    詳解 <b class='flag-5'>LLM</b> 推理模型的現(xiàn)狀

    《AI Agent 應(yīng)用與項(xiàng)目實(shí)戰(zhàn)》閱讀心得3——RAG架構(gòu)與部署本地知識(shí)庫(kù)

    不僅解決了LLM的知識(shí)更新問(wèn)題,更為構(gòu)建專(zhuān)業(yè)領(lǐng)域的智能問(wèn)答系統(tǒng)提供了完整的技術(shù)方案。通過(guò)與向量數(shù)據(jù)庫(kù)的深度集成,RAG實(shí)現(xiàn)了知識(shí)的動(dòng)態(tài)擴(kuò)展和精準(zhǔn)檢索,這種架構(gòu)設(shè)計(jì)為AI系統(tǒng)的持續(xù)進(jìn)化提供了可能。在
    發(fā)表于 03-07 19:49

    阿里云通義開(kāi)源長(zhǎng)文本新模型Qwen2.5-1M

    近日,阿里云通義宣布了一項(xiàng)重大開(kāi)源舉措,推出了支持100萬(wàn)Tokens上下文的Qwen2.5-1M模型。這一新模型在處理長(zhǎng)文本任務(wù)中展現(xiàn)出了卓越的性能,穩(wěn)定超越了GPT-4o-mini
    的頭像 發(fā)表于 02-05 14:01 ?459次閱讀

    什么是LLM?LLM在自然語(yǔ)言處理中的應(yīng)用

    所未有的精度和效率處理和生成自然語(yǔ)言。 LLM的基本原理 LLM基于深度學(xué)習(xí)技術(shù),尤其是變換器(Transformer)架構(gòu)。變換器模型因其自注意力(Self-Attention)機(jī)制而聞名,這種機(jī)制使得模型能夠捕捉
    的頭像 發(fā)表于 11-19 15:32 ?3374次閱讀

    LLM技術(shù)的未來(lái)趨勢(shì)分析

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(LLM)已經(jīng)成為自然語(yǔ)言處理(NLP)領(lǐng)域的一個(gè)熱點(diǎn)。這些模型通過(guò)分析和學(xué)習(xí)大量的文本數(shù)據(jù),能夠執(zhí)行多種語(yǔ)言任務(wù),如文本生成、翻譯、問(wèn)答和情感
    的頭像 發(fā)表于 11-08 09:35 ?989次閱讀

    如何訓(xùn)練自己的LLM模型

    訓(xùn)練自己的大型語(yǔ)言模型(LLM)是一個(gè)復(fù)雜且資源密集的過(guò)程,涉及到大量的數(shù)據(jù)、計(jì)算資源和專(zhuān)業(yè)知識(shí)。以下是訓(xùn)練LLM模型的一般步驟,以及一些關(guān)鍵考慮因素: 定義目標(biāo)和需求 : 確定你的LLM將用
    的頭像 發(fā)表于 11-08 09:30 ?1399次閱讀

    LLM技術(shù)對(duì)人工智能發(fā)展的影響

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(LLM技術(shù)已經(jīng)成為推動(dòng)AI領(lǐng)域進(jìn)步的關(guān)鍵力量。LLM技術(shù)通過(guò)深度學(xué)習(xí)和自然語(yǔ)言處理
    的頭像 發(fā)表于 11-08 09:28 ?1788次閱讀

    LLM和傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

    在人工智能領(lǐng)域,LLM(Large Language Models,大型語(yǔ)言模型)和傳統(tǒng)機(jī)器學(xué)習(xí)是兩種不同的技術(shù)路徑,它們?cè)谔幚頂?shù)據(jù)、模型結(jié)構(gòu)、應(yīng)用場(chǎng)景等方面有著顯著的差異。 1. 模型結(jié)構(gòu)
    的頭像 發(fā)表于 11-08 09:25 ?1721次閱讀

    LLM預(yù)訓(xùn)練的基本概念、基本原理和主要優(yōu)勢(shì)

    在人工智能和自然語(yǔ)言處理(NLP)領(lǐng)域,大型語(yǔ)言模型(Large Language Model,簡(jiǎn)稱LLM)的興起極大地推動(dòng)了技術(shù)的進(jìn)步和應(yīng)用的發(fā)展。LLM通過(guò)在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)
    的頭像 發(fā)表于 07-10 11:03 ?2780次閱讀

    大模型LLM與ChatGPT的技術(shù)原理

    在人工智能領(lǐng)域,大模型(Large Language Model, LLM)和ChatGPT等自然語(yǔ)言處理技術(shù)(Natural Language Processing, NLP)正逐步改變著人類(lèi)
    的頭像 發(fā)表于 07-10 10:38 ?1518次閱讀

    llm模型有哪些格式

    LLM(Large Language Model,大型語(yǔ)言模型)是一種深度學(xué)習(xí)模型,主要用于處理自然語(yǔ)言處理(NLP)任務(wù)。LLM模型的格式多種多樣,以下是一些常見(jiàn)的LLM模型格式
    的頭像 發(fā)表于 07-09 09:59 ?1303次閱讀

    llm模型和chatGPT的區(qū)別

    LLM(Large Language Model)是指大型語(yǔ)言模型,它們是一類(lèi)使用深度學(xué)習(xí)技術(shù)構(gòu)建的自然語(yǔ)言處理(NLP)模型。LLM模型可以處理各種語(yǔ)言任務(wù),如文本生成、
    的頭像 發(fā)表于 07-09 09:55 ?1895次閱讀

    LLM模型的應(yīng)用領(lǐng)域

    在本文中,我們將深入探討LLM(Large Language Model,大型語(yǔ)言模型)的應(yīng)用領(lǐng)域。LLM是一種基于深度學(xué)習(xí)的人工智能技術(shù),它能夠理解和生成自然語(yǔ)言文本。近年來(lái),隨著計(jì)
    的頭像 發(fā)表于 07-09 09:52 ?1184次閱讀

    什么是LLMLLM的工作原理和結(jié)構(gòu)

    隨著人工智能技術(shù)的飛速發(fā)展,大型語(yǔ)言模型(Large Language Model,簡(jiǎn)稱LLM)逐漸成為自然語(yǔ)言處理(NLP)領(lǐng)域的研究熱點(diǎn)。LLM以其強(qiáng)大的文本生成、理解和推理能力,
    的頭像 發(fā)表于 07-02 11:45 ?1.3w次閱讀