以下是如何在Raspberry Pi上運行大型語言模型(LLM)的方法。本文的目標是找出在Raspberry Pi上運行LLM是否是ChatGPT和GitHub Copilot等工具的合理替代方案。

您可觀看下方視頻，詳細了解Raspberry Pi運行LLM的效果（作為編程助手），以及Raspberry Pi5與內置NPU的單板計算機（如Radxa Rock 5C）的性能對比。

運行LLM的本地實例有很多好處:

你不依賴價值數十億美元的公司，這些公司可隨時更改服務條款。

信息永遠不會離開您的計算機/網絡，提供最佳隱私保護

可靈活嘗試無法通過ChatGPT等付費訂閱服務獲得的不同LLM

Raspberry Pi安裝LLM指南

Ollama會使您的Raspberry Pi在本地安裝和運行LLM變得非常容易。你只需要連上互聯網來下載模型。一旦它們被下載，全程在本地運行。

curl-fsSL https://ollama.com/install.sh | sh

如果您要從不同的機器連接到Ollama，您必須設置幾個環境變量來使它工作。第一個環境將服務綁定到與您的Pi相關聯的所有IP地址。第二個環境變量有點復雜，因為它取決于您如何從另一個設備訪問Ollama服務器。我選擇使用IP地址，但是您可以選擇使用主機名，可以做出相應的改變。

確保將< IP或主機名>替換為您的Pi的實際IP地址或主機名。我將使用IP地址作為本文的提示。

編輯文件/etc/systemd/system/ollama.service

Environment="OLLAMA_HOST=0.0.0.0"Environment="OLLAMA_ORIGINS=http://:11434"

讓我們重新啟動Ollama，這樣它就可以接受我們剛剛更改的設置。

sudosystemctl daemon-reloadsudo systemctl restart ollama

打開一個瀏覽器窗口，導航到http://:11434，您應該會看到一條消息，說明Ollama正在運行。如果出現連接錯誤或找不到頁面，請仔細檢查上面配置的環境變量。

Open WebUI(下面將詳細介紹)允許您直接從web界面下載模型，但我更喜歡使用終端。Ollama頁面上列出的任何型號都可以下載到Raspberry Pi。

我建議從1.5B參數模型開始，因為它們在Raspberry Pi提供的有限資源上提供了準確性和計算效率之間的良好平衡。

從Ollama的網站上復制run命令并粘貼到您的終端窗口中。

ollamarun qwen2.5-coder:1.5b

聊天服務器

一旦Ollama準備就緒，您可以直接從終端進行聊天會話。但這很笨重，而且不太用戶友好。Open WebUI提供了一種更現代的方式來與Ollama上運行的LLM進行交互。這提供了類似于使用ChatGPT這樣的聊天機器人的體驗。

Open WebUI以Python包的形式提供，因此安裝它應該很簡單。從Raspberry Pi OS Bookworm開始，你必須創建一個環境來使用pip安裝Python包。

python-m venv myenv

上面的命令將創建一個名為myenv的文件夾，其中包含Python環境所需的所有文件。要獲取(激活)環境，請鍵入以下命令。

sourcemyenv/bin/activate

現在，使用pip安裝Open WebUI包。

pipinstall open-webui

安裝完成后，啟動Open WebUI服務器。

open-webui serve

服務器將以默認端口8080啟動。要訪問您的新LLM聊天機器人，請在web瀏覽器中輸入您的Raspberry Pi IP地址，然后輸入端口號。這時候應該加載Open WebUI，并且應該向您顯示一個登錄屏幕。繼續為您自己創建一個帳戶。這是一個本地帳戶，信息不會通過互聯網發送。

登錄后，您可以使用聊天框來幫助您完成編碼任務。

如果你正在尋找聊天機器人的體驗，你可以在這里停下來，享受你的新援助。但是如果你想把Ollama直接集成到你的代碼編輯器中，就像VS代碼一樣，需要更多的設置。

集成VS Code插件Continue

Continue VS代碼插件直接連接到運行在Raspberry Pi 5上的Ollama服務器，可以提供自動代碼完成。要使這一功能正常工作，您應該了解一些設置。

默認情況下，Continue會向Raspberry Pi發送太多的上下文數據。這只會導致Pi 5全速運行幾分鐘，直到超時而沒有返回編碼建議。

打開Continue的設置，將下面的塊添加到config.json文件中。

"tabAutocompleteOptions":{ "maxPromptTokens":300}

接下來，確保選項卡自動完成設置匹配您正在使用的模型和Pi的IP地址。這里有一個我如何設置它使用Qwen2.5編碼器模型的例子。

"tabAutocompleteModel":{"title":"Qwen2.5-Coder", "provider":"ollama", "model":"qwen2.5-coder:1.5b", "apiBase":"http://10.0.0.41:11434"}

原文鏈接：

https://dphacks.com/2025/02/09/raspberry-pi-5-coding-assistant-with-ollama-and-continue/