GPT-4 的模型結構和訓練方法

在 GPT-4 的發布報道上，GPT-4 的多模態能力讓人印象深刻，它可以理解圖片內容給出圖片描述，甚至能在圖片內容的基礎上理解其中的隱喻或推斷下一時刻的發展。

2023-05-22 標簽：數據模型語言模型 2923 0

邱錫鵬團隊提出具有內生跨模態能力的SpeechGPT，為多模態LLM指明方向

大型語言模型（LLM）在各種自然語言處理任務上表現出驚人的能力。與此同時，多模態大型語言模型，如 GPT-4、PALM-E 和 LLaVA，已經探索了 ...

2023-05-22 標簽：編碼器生成器語言模型 869 0

邱錫鵬團隊提出SpeechGPT：具有內生跨模態能力的大語言模型

雖然現有的級聯方法或口語語言模型能夠感知和生成語音，但仍存在一些限制。首先，在級聯模型中，LLM 僅充當內容生成器。由于語音和文本的表示沒有對齊，LLM...

2023-05-22 標簽：模態語言模型數據集 876 0

如何利用LLM做一些多模態任務

本文整理了近兩年來基于LLM做vision-lanuage任務的一些工作，并將其劃分為4個類別：

2023-05-17 標簽：編碼器數據語言模型 1167 0

使用Alpaca-Lora進行參數高效模型微調

在推理時，將左右兩部分的結果加到一起即可，h=Wx+BAx=(W+BA)x，所以，只要將訓練完成的矩陣乘積BA跟原本的權重矩陣W加到一起作為新權重參數替...

2023-05-17 標簽：服務器模型語言模型 2441 0

大語言模型的多語言機器翻譯能力分析

以ChatGPT為代表的大語言模型（Large Language Models, LLM）在機器翻譯（Machine Translation, MT）任...

2023-05-17 標簽：Opt語言模型ChatGPT 2597 0

蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

為了解決大型模型的這個問題，部署者往往采用小一些的特定模型來替代。這些小一點的模型用常見范式 —— 微調或是蒸餾來進行訓練。微調使用下游的人類注釋數據升...

2023-05-15 標簽：人工智能語言模型自然語言 804 0

涌現能力的定義、常見的激發手段和具體的分類和任務

縮放定律的一個重要作用就是預測模型的性能，但是隨著規模的擴大，模型的能力在不同的任務上并不總表現出相似的規律。在很多知識密集型任務上，隨著模型規模的不斷...

2023-05-15 標簽：寄存器模型語言模型 4639 0

LlamaIndex：面向QA系統的全新文檔摘要索引

添加關鍵字過濾器是增強檢索結果的一種方法。但這也帶來了一系列挑戰。我們需要手動或通過 NLP 關鍵字提取/主題標記模型為每個文檔充分確定合適的關鍵字。此...

2023-05-12 標簽：代碼語言模型nlp 1537 0

如何利用LLM做多模態任務？

大型語言模型LLM（Large Language Model）具有很強的通用知識理解以及較強的邏輯推理能力，但其只能處理文本數據。雖然已經發布的GPT4...

2023-05-11 標簽：接口模態語言模型 1105 0

ImageBind：跨模態之王，將6種模態全部綁定！

最近，很多方法學習與文本、音頻等對齊的圖像特征。這些方法使用單對模態或者最多幾種視覺模態。最終嵌入僅限于用于訓練的模態對。因此，視頻 - 音頻嵌入無法直...

2023-05-11 標簽：編碼器語言模型數據集 1326 0

首個中文醫學知識LLM：真正的賽華佗—華駝(HuaTuo)

通過醫學知識圖譜和 GPT 3.5 API 構建了中文醫學指令數據集，并在此基礎上對 LLaMA 進行了指令微調，提高了 LLaMA 在醫療領域的問答效果。

2023-05-08 標簽：模型語言模型知識圖譜 2134 0