一、OrangePi Kunpeng Pro簡(jiǎn)介

OrangePi Kunpeng Pro是一款香橙派聯(lián)合華為精心打造的高性能板卡，搭載了鯤鵬處理器，可提供8TOPS INT8計(jì)算能力，板卡設(shè)計(jì)很精致，板載資源也非常多：

?擁有以太網(wǎng)、Wi-Fi+藍(lán)牙功能，提供多種可選擇的網(wǎng)絡(luò)接入方式。

? 2個(gè)USB3.0 Host、1個(gè)支持USB3.0的Type-C接口：可接入鼠標(biāo)、鍵盤、USB攝像頭等設(shè)備，方便板卡操作。

? 2個(gè)HDMI接口、1 個(gè) MIPI DSI 2 Lane接口，提供兩種顯示方案。

?引出了40 pin 擴(kuò)展口，可擴(kuò)展UART、I2C、SPI、PWM 和 GPIO 等接口功能。板卡完整接口如下圖所示：

板卡擴(kuò)展出的功能很多，能夠滿足很多應(yīng)用場(chǎng)景和行業(yè)的開發(fā)需求，本文將描述使用OrangePi Kunpeng Pro來部署AI大模型，記錄分析模型運(yùn)行期間板卡的狀態(tài)和模型運(yùn)行效果。

二、環(huán)境搭建

（1）首先取出板卡，為板卡接入一個(gè)HDMI顯示屏、一個(gè)無線藍(lán)牙鼠標(biāo)、一個(gè)有線鍵盤，接著接通電源，完成后如下圖所示：

（2）隨后板卡將自動(dòng)啟動(dòng)運(yùn)行openEuler操作系統(tǒng)，接著我們進(jìn)入終端：

（3）查看下存儲(chǔ)容量：

從上圖可知目前可用容量很大，可滿足小量級(jí)離線模型的存儲(chǔ)。

板卡運(yùn)行openEuler非常流暢，使用體驗(yàn)感非常好。

（4）選擇網(wǎng)絡(luò)接入方式，本文使用Wifi接入。

（5）更改CPU為AI CPU

從上圖中可知目前板卡有3個(gè)AI CPU和1個(gè)control CPU。

接著就進(jìn)行模型運(yùn)行環(huán)境搭建和模型部署了。

三、模型運(yùn)行環(huán)境搭建

(1)下載Ollama用于啟動(dòng)并運(yùn)行大型語言模型

由于在線下載Ollama速度較慢，故而使用手動(dòng)方式安裝Ollama，首先從下列地址下載Ollama：

https://ollama.com/download/ollama-linux-arm64

完成后將其通過ssh方式傳輸?shù)桨蹇ā＝又鴮⑵渲孛麨閛llama，便于命令操作，然后將ollama復(fù)制到/usr/bin目錄中并賦予可執(zhí)行權(quán)限：

sudochmod+x/usr/bin/ollama

(2)配置ollama系統(tǒng)服務(wù)

使用以下命令創(chuàng)建ollama服務(wù)描述文件：

sudotouch/etc/systemd/system/ollama.service

并在文件中編輯如下內(nèi)容：

[Unit]
Description=OllamaService
After=network-online.target

[Service]
ExecStart=/usr/bin/ollamaserve
User=root
Group=root
Restart=always
RestartSec=3

[Install]
WantedBy=default.target

(3)啟動(dòng)ollama服務(wù)

使用下述命令啟動(dòng)ollama服務(wù)：

sudosystemctldaemon-reload
sudosystemctlenableollama

(4)啟動(dòng)ollama

使用下述命令啟動(dòng)ollama:

sudosystemctlstartollama

(5)查看ollama運(yùn)行狀態(tài)

使用如下命令查看ollama運(yùn)行狀態(tài)：

systemctlstatusollama.service

從上圖可知目前ollama啟動(dòng)成功。

四、模型部署

通過上述第三小節(jié)的步驟后，Ollama模型運(yùn)行環(huán)境就搭建完成，本小節(jié)將部署五個(gè)模型：1.8b的qwen、2b的gemma、3.8b的phi3、4b的qwen和7b的llama2，測(cè)試OrangePi Kunpeng Pro運(yùn)行模型的實(shí)際效果。模型細(xì)節(jié)如下表所示：

(1)部署1.8b的qwen

使用ollama run qwen:1.8b部署1.8b的qwen模型：

上述模型部署完成后，對(duì)其進(jìn)行問答測(cè)試，如下圖所示：

效果：運(yùn)行1.8b的qwen模型，CPU負(fù)載沒有占滿，進(jìn)行問答測(cè)試，回答速度較快，效果很好！

(2)部署2b的gemma

使用ollama run gemma:2b部署2b的gemma模型：

上述模型部署完成后，對(duì)其進(jìn)行問答測(cè)試，如下圖所示：

效果：運(yùn)行2b的gemma模型和運(yùn)行1.8b的qwen模型效果相似，CPU負(fù)載同樣沒有占滿，進(jìn)行問答測(cè)試，回答速度快，效果好！

(3)部署3.8的phi3

使用ollama run phi3:3.8b部署3.8b的phi3模型：

上述模型部署完成后，對(duì)其進(jìn)行問答測(cè)試，如下圖所示：

效果：運(yùn)行3.8b的phi3模型，進(jìn)行問答測(cè)試，回答速度變慢了。

(4)部署4b的qwen

使用ollama run qwen:4b部署4b的qwen模型：

上述模型部署完成后，對(duì)其進(jìn)行問答測(cè)試，如下圖所示：

效果：運(yùn)行4b的qwen模型，進(jìn)行問答測(cè)試，回答問題速度明顯變慢：計(jì)算生成答案的速度變慢，打印文字的速度也變慢了。

(5)部署7b的llama2

使用ollama run llama2:7b部署7b的llama2模型：

上述模型部署完成后，對(duì)其進(jìn)行問答測(cè)試，如下圖所示：

效果：運(yùn)行7b的llama2模型，CPU滿負(fù)載了，進(jìn)行問答測(cè)試，回答問題速度也明顯變得很慢：計(jì)算生成答案的速度變慢，打印文字的速度也變慢了。

五、實(shí)際效果

上述第四小節(jié)描述了運(yùn)行五個(gè)模型的實(shí)際使用效果，本小節(jié)附上運(yùn)行2b的gemma模型的效果，如下圖所示：

（注：因gif圖對(duì)視頻有所處理，以實(shí)際運(yùn)行效果為準(zhǔn)！）

六、總結(jié)

OrangePi Kunpeng Pro板卡是一塊擁有較高計(jì)算性能的板卡，本文使用該板卡部署了五個(gè)模型（以本文所描述模型為參考），對(duì)于1.8b和2b量級(jí)的模型來說運(yùn)行效果還可以，體驗(yàn)較好；對(duì)于3.8b和4b量級(jí)的模型來說，體驗(yàn)感有所下降，一是計(jì)算生成答案的過程變長(zhǎng)，二是文字輸出存在斷續(xù)；對(duì)于7b量級(jí)的模型，體驗(yàn)感更是降了一個(gè)層次，文字輸出存在明顯的斷續(xù)了。

體驗(yàn)感是一個(gè)非理性的名詞，因人而異，不同的場(chǎng)景和模型，不同的使用者都可能存在不同的體驗(yàn)，本文所有內(nèi)容僅供參考和評(píng)測(cè)！