怎樣使用Streamlit創建AutoGen用戶界面？

AutoGen作為一個最大化LLM(如GPT-4)能力的框架而脫穎而出。

2023-11-08 標簽：GPTLLM 963 0

Hugging Face LLM部署大語言模型到亞馬遜云科技Amazon SageMaker推理示例

?本篇文章主要介紹如何使用新的Hugging Face LLM推理容器將開源LLMs，比如BLOOM大型語言模型部署到亞馬遜云科技Amazon Sage...

2023-11-01 標簽：語言模型亞馬遜LLM 1155 0

chatGPT的175Billion個參數是哪兒來的

最近大語言模型模型LLM很火，大家總是說chatgpt的175Billion參數。做算法的人更關心網絡的結構，而我這種做硬件的人一直很好奇這個參數是怎么計算的。

2023-11-01 標簽：LSTMChatGPTLLM 1454 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標簽：gpu模型LLM 1543 0

大語言模型Fine-tuning踩坑經驗分享

當然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標簽：gpu數據處理ChatGPT 668 0

揭秘編碼器與解碼器語言模型

Transformer 架構的問世標志著現代語言大模型時代的開啟。自 2018 年以來，各類語言大模型層出不窮。

2023-10-24 標簽：解碼器編碼器語言模型 1094 0

如何本地部署大模型

近期，openEuler A-Tune SIG在openEuler 23.09版本引入llama.cpp&chatglm-cpp兩款應用，以支持...

2023-10-18 標簽：人工智能C++openEuler 3096 0

mlc-llm對大模型推理的流程及優化方案

在 MLC-LLM 部署RWKV World系列模型實戰（3B模型Mac M2解碼可達26tokens/s） 中提到要使用mlc-llm部署模型首先需要...

2023-09-26 標簽：編譯MLC深度學習 1159 0

對比解碼在LLM上的應用

為了改進LLM的推理能力，University of California聯合Meta AI實驗室提出將Contrastive Decoding應用于多...

2023-09-21 標簽：解碼AI深度學習 820 0

LLM在生成摘要方面效果到底如何？

文本摘要，作為自然語言生成（NLG）中的一項任務，主要用來將一大段長文本壓縮為簡短的摘要，例如新聞文章、源代碼和跨語言文本等多種內容都能用到。

2023-09-21 標簽：源代碼GPT大模型 796 0

基于神經科學的Numenta介紹

人腦以高效著稱，它以稀疏的表征方式存儲和處理信息。在任何時刻，只有一小部分神經元處于活躍狀態。

2023-09-21 標簽：處理器GPU芯片自然語言處理 1074 0

Medusa如何加速大型語言模型（LLM）的生成？

面對推測性解碼的復雜性，研究人員推出了Medusa技術，這個框架回歸了Transformer模型的本質，減少了復雜度，增強了效率，讓每個生成階段都能快速...

2023-09-20 標簽：神經網絡語言模型LLM 923 0

從原理到代碼理解語言模型訓練和推理，通俗易懂，快速修煉LLM

要理解大語言模型（LLM），首先要理解它的本質，無論預訓練、微調還是在推理階段，核心都是next token prediction，也就是以自回歸的方式...

2023-09-19 標簽：語言模型LLM 2096 0

【比特熊充電棧】實戰演練構建LLM對話引擎

大模型時代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護欄”，可以輕松的為基于 LLM 的...

2023-09-19 標簽：微軟NVIDIAOpenAI 1230 0

如何更好地繼續預訓練（Continue PreTraining）

但，這種前提是「充分訓練」，如果只看訓練前期的話，使用更長的預熱步數（黃色的線）。無論是「上游任務」還是「下游任務」，模型的 Loss 都要比其他預熱步...

2023-09-11 標簽：模型數據集LLM 1376 0

檢索增強LLM的方案全面的介紹

OpenAI 研究科學家 Andrej Karpathy 前段時間在微軟 Build 2023 大會上做過一場關于 GPT 模型現狀的分享 State ...

2023-09-08 標簽：檢索GitHubLLM 1663 0

RLAIF：一個不依賴人工的RLHF替代方案

如圖所示，在RLAIF中，首先使用LLM來評估給定的文本和2個候選回復，然后，這些由LLM生成的偏好數據被用來訓練一個獎勵模型，這個獎勵模型用于強化學習...

2023-09-08 標簽：模型強化學習LLM 1027 0

MLC-LLM的編譯部署流程

0x0. 前言 我的 ChatRWKV 學習筆記和使用指南 這篇文章是學習RWKV的第一步，然后學習了一下之后決定自己應該做一些什么。所以就在RWKV社...

2023-09-04 標簽：模型編譯LLM 3411 0

LLaMa量化部署

使用 GPTQ 量化的模型具有很大的速度優勢，與 LLM.int8() 不同，GPTQ 要求對模型進行 post-training quantizati...

2023-08-28 標簽：cpu模型LLM 1720 0