?作者:算力魔方創始人/英特爾邊緣計算創新大使 劉力
前面我們分享了《Meta重磅發布Llama 3.3 70B:開源AI模型的新里程碑》,Llama 3.3 70B模型的發布,標志著開源AI模型在智能水平上的一大飛躍。它不僅達到了之前只有Llama 3.1 405B模型才具備的智能水平,而且還超越了11月發布的GPT-4o模型。
本文我們將分享微軟剛剛發布的Phi-4模型,其模型參數只有14B,是Llama3.3 70B的五分之一,但性能卻跟Llama 3.3 70B模型差不多,甚至在GPQA和MATH兩項上還超越了Llama3.3 70B!
參考鏈接:https://arxiv.org/pdf/2412.08905
本文將分享Phi-4 14B模型在算力魔方4060版上的部署過程。
一,算力魔方?簡介
算力魔方?是一款可以DIY的迷你主機,采用了抽屜式設計,后續組裝、升級、維護只需要拔插模塊。通過選擇不同算力的計算模塊,再搭配不同的 IO 模塊可以組成豐富的配置,適應不同場景。
性能不夠時,可以升級計算模塊提升算力;IO 接口不匹配時,可以更換 IO 模塊調整功能,而無需重構整個系統。
本文以下所有步驟將在帶有英特爾i7-1265U處理器的算力魔方?上完成驗證。
二,安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
三,運行Phi-4
使用下面的命令完成運行Phi-4:
ollama run phi4

四,測試Phi-4數學能力
輸入下面的數學問題,測試Phi-4的數學能力:
A farmer has a rectangular field with a length of 2x + 5 meters and a width of x - 3 meters.
Part A: Find the area of the field in terms of x.
Part B: If the area of the field is 150 square meters, determine the value of x.
Part C: Calculate the perimeter of the field.
五,總結
使用Ollama可以方便快捷的將Phi-4模型本地化部署在算力魔方?上。
如果你有更好的文章,歡迎投稿!
稿件接收郵箱:[email protected]
更多精彩內容請關注“算力魔方?”!
?審核編輯 黃宇
-
模型
+關注
關注
1文章
3483瀏覽量
49980 -
算力
+關注
關注
2文章
1141瀏覽量
15441
發布評論請先 登錄
基于算力魔方的智能文檔信息提取方案

DeepSeek R1模型本地部署與產品接入實操

如何在RAKsmart服務器上實現企業AI模型部署
添越智創基于 RK3588 開發板部署測試 DeepSeek 模型全攻略
使用OpenVINO C# API輕松部署飛槳PP-OCRv4模型



用Ollama輕松搞定Llama 3.2 Vision模型本地部署

在英特爾酷睿Ultra7處理器上優化和部署Phi-3-min模型

評論