構(gòu)造instruction data非常耗時耗力，常受限于質(zhì)量，多樣性，創(chuàng)造性，阻礙了instruc....

近年來，大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的顯著成就徹底改變了人工智能領(lǐng)域，在各種任務(wù)和領(lǐng)域展示了前所未有的性能。

今天我們要講的文本生成是現(xiàn)在最流行的研究領(lǐng)域之一。文本生成的目標是讓計算機像人類一樣學(xué)會表達，目前看....

在主要評估LLM模型中文能力的 C-Eval 榜單中，截至6月25日 ChatGLM2 模型以 71....

基于 transformer 的編碼器-解碼器模型是 表征學(xué)習(xí) 和 模型架構(gòu) 這兩個領(lǐng)域多年研究成果....

? 因果推理是人類智力的標志之一。因果關(guān)系NLP領(lǐng)域近年來引起了人們的極大興趣，但其主要依賴于從常識....

我們主要用一個具體的例子展示如何在兩個框架下做RLHF，并且記錄下訓(xùn)練過程中我們踩到的主要的坑。這個....

網(wǎng)友表示，「澄清問題」是真正使GPT-Engineer脫穎而出的原因，因為修復(fù)生成代碼中的問題往往比....

Prompt Tuning 可以讓預(yù)訓(xùn)練的語言模型快速適應(yīng)下游任務(wù)。雖然有研究證明：當訓(xùn)練數(shù)據(jù)足夠多....

baichuan-7B 主要是參考LLaMA進行的改進，且模型架構(gòu)與LLaMA一致。而在開源大模型中....

除了各類開源模型外，還有GPT-4、PaLM 2等眾多「閉源」模型，甚至還開設(shè)了一個「準中文」排行榜....

基于 transformer 的編碼器-解碼器模型是 表征學(xué)習(xí) 和 模型架構(gòu) 這兩個領(lǐng)域多年研究成果....

由于在生成長文本的數(shù)據(jù)集上，F(xiàn)lan-PaLM和臨床醫(yī)生的結(jié)果顯示出一定gap。本文提出了使用Ins....

AGIEval評測基準由微軟研究院發(fā)起，旨在全面評估基礎(chǔ)模型在人類認知和問題解決相關(guān)任務(wù)上的能力，包....

相隔 20 多年的時間再回頭看，我比較得意的一件事就是，1996 年我給聯(lián)想的總裁辦做了一次匯報，說....

? 今天為大家分享一篇研究，當ChatGPT穿越到口袋妖怪世界，是否會理解并應(yīng)用這個虛構(gòu)世界的知識呢....

為了找到NMT模型的潛在缺陷，構(gòu)建更加可解釋的知識庫，我們提出以局部準確性這一新概念作為分析角度。其....

神經(jīng)網(wǎng)絡(luò)包含很多全連接層，其借助于矩陣乘法得以實現(xiàn)，然而，很多全連接層的權(quán)重矩陣都是滿秩的。

句向量技術(shù)是將連續(xù)的文本轉(zhuǎn)化為固定長度的稠密向量，將句子映射到同一個向量空間中

? Vaswani 等人在其名作 Attention is all you need 中首創(chuàng)了?基于....

年初，谷歌推出了音樂生成大模型 MusicLM，效果非常不錯。有人稱這比大火的 ChatGPT 還重....

如何將ChatGPT的能力蒸餾到另一個大模型，是當前許多大模型研發(fā)的研發(fā)范式。當前許多模型都是采用c....

最近，在語言模型領(lǐng)域取得了巨大的進展，部分是因為它們可以通過In-Context- Learning....

在推理階段，計算一個矩陣，該矩陣包含表示成對比較結(jié)果的logits。給定該矩陣，可以推斷給定輸入x的....

在本文中我們將對QLoRA的基本原理進行介紹，并且在Firefly項目中進行實踐。我們在bloom-....

這項研究提出的思想和發(fā)現(xiàn)為可持續(xù)高效地使用 LLM 奠定了基礎(chǔ)。如果能夠在不增加預(yù)算的情況下采用更高....

本文首先詳細介紹Transformer的基本結(jié)構(gòu)，然后再通過GPT、BERT、MT-DNN以及GPT....

為了實現(xiàn)日常目標，人們通常會根據(jù)逐步指令來計劃自己的行動。這些指令被發(fā)現(xiàn)是目標導(dǎo)向的腳本，包括一組達....

在當前低資源的語言基準上（如FLORES-200）改進機器翻譯性能。針對資源極低的語言，可以利用圣經(jīng)....

自動測試分數(shù)達到 ChatGPT的99.3%，人類難以分辨 兩者的回答…… 這是開源大模型最新成果，....