女人自慰AV免费观看内涵网,日韩国产剧情在线观看网址,神马电影网特片网,最新一级电影欧美,在线观看亚洲欧美日韩,黄色视频在线播放免费观看,ABO涨奶期羡澄,第一导航fulione,美女主播操b

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于 Flexus X 實例云服務器的評測 - 大模型對比評測

jf_21561199 ? 來源:jf_21561199 ? 作者:jf_21561199 ? 2024-12-24 17:34 ? 次閱讀

大家好,我是雄雄,歡迎關注微信公眾號:雄雄的小課堂

@TOC

寫在前面

華為云 828,領 8280 元上云禮券,買高性能服務器!!!

這不,手里就拿到了一臺 4 核 12G,10M 的 Flexus X 實例云服務器,拿到后,就想著測測它的性能,看看有沒有官網說的那么神奇!!!

官網的活動地址在這里,領 8280 元券:點我查看

服務器配置情況

下面,簡單的給大家看看我手里的這臺服務器的配置,做個鋪墊,待會兒給大家上大招!!!

cpu 的情況

wKgZPGdqgBWAQa_FAABG5meIOQI667.png

內存情況

wKgZO2dqgBaAE1EiAACACZJTFeQ271.png

硬盤情況

wKgZPGdqgBaAAaAeAACQxLZfkgM499.png

拿到服務器后,我不想再裝環境上浪費時間,所以就安裝了個寶塔,這個面板在服務器中,占不了多少內存,但是方便了裝環境,不用執行裝環境的命令,只需要在軟件商店中,找到需要安裝的軟件,點擊后面的安裝即可。

評測之前環境準備

在正式評測之前,我們需要準備以下環境:

1.docker,不會安裝的可以自行百度

2.ollama,這個也很簡單,執行個命令就完事兒了

假使我們這兩個環境現在在云服務器上都安裝成功啦。

wKgZO2dqgBeAKcTDAAHaIAGiEMY107.png

wKgZPGdqgBiAX5TuAABlNLuykK4089.png

那么,現在我們開始正式評測!!!

華為云 Flexus X 實例大模型評測

下面,我們開始基于華為云的 Flexus X 實例云服務器評測一下大模型,因為我們現在還不知道這款服務器能跑多大的模型,所以我們就先從小模型開始跑。

先來個小模型,下面我們可以直接使用 ollama 開始跑模型,大家進入 ollama 的官網,點擊右上角的 model 菜單:

wKgZO2dqgBiAT5_vAADSxM4WYEY026.png

然后就能看到下面所有 ollama 支持的大模型啦。

找到 qwen2,我們可以看到下面的 tag 里面分別有:0.5B,1.5B,7B,72B,這幾種。

wKgZPGdqgBmANedaAAA3DT8ow_U767.png

千問 0.5B 大模型

下面,我們先以最小的為例,試試看看:(注意,模型的質量我們暫且不管,我們只評測響應速度以及 CPU 和內存的占用情況)

占用情況以寶塔面板上的統計圖為例,待會兒給大家截圖。

執行下面的命令,開始跑 0.5B 的大模型:

ollama run qwen2:0.5b

運行情況如下:

wKgZO2dqgBmAcnrOAAy9ecppnE8015.gif

占用情況如下:

wKgZPGdqgBqAEWfnAABnskGyHTY900.png

結論:0.5B 的大模型,可以看到,這個速度快的驚人,沒說的,繼續測下個大模型。

千問 1.5B 大模型

這次我們測 1.5B 的大模型,比 0.5B 的多 1,看看這款 Flexus X 實例云服務器的表現怎么樣。

同樣,執行下面的命令:

ollama run qwen2:1.5b

wKgZO2dqgBqADn1_AAAnSkHwiZ4801.png

這里需要等待半天,讓下載。

下載過程中,我們可以看看寶塔上的內存和 CPU 的占比情況。

wKgZPGdqgBuAKVk9AABaluelEcI813.png

基本上毫無壓力,繼續等待!!!

等待的過程有點漫長.....

wKgZO2dqgBuAWDQ9AABKAlY7z-M494.png

開測!!!

wKgZPGdqgByARiIlAAixulHx51M132.gif

看看占用情況:

wKgZO2dqgB2Aec23AABib0MZ_Zk345.png

結論:比較完美,感覺和 0.5B 的區別不是很大,就是下載的時候慢了點,整體表現很棒。

gemma2 的 2b 大模型

0.5B 和 1.5B 的我們都測試過了,大家也可以從上圖中看的出來,一點壓力都沒有,響應速度也很快,嗖嗖的就回答完畢了,質量也還行,而且最主要的是服務器的性能完全是過剩的,沒跑滿,所以,我們接著加大力度測試。

現在我們測測 gemma2 的 2b 大模型,運行如下命令:

ollama run gemma2:2b

又到了等待的過程中了,總是這么漫長~

wKgZO2dqgB2AGog0AAAkD0IHIbo654.png

在下載模型的過程中,我們可以看看占用情況:

wKgZPGdqgB6AW8G1AABOby8sToY549.png

一點問題都沒有,幾乎沒有占多少,現在我們繼續等待。

wKgZO2dqgB6ANv2xAAB0YWh8bRg214.png

等待完畢,開始問個問題測試一下:

效果展示情況:

wKgZPGdqgB-ADob1AAQRZSaqPnA213.gif

資源占用情況:

wKgZO2dqgB-AbCh6AABiubAQaas140.png

結論:通過效果圖 gif 中可以看的出來,響應要比 1.5B 的稍微慢了點兒,但是這個速度還是可以接受,不過內存占用稍微偏高了,由原來的 27 增加到了 34,倒是也能接受,畢竟模型的大小由原來的 900 多 M 到現在的 1.4G 了。

千問 7B 大模型

現在,我們繼續增大模型,看看表現效果怎么樣。

這次我們測一下千問的 7B 大模型,這是 2B 的 3 倍多,看看這款 Flexus X 實例云服務器跑 7B 的模型是個什么情況。

同樣,執行下面的命令:

ollama run qwen2:7b

繼續等待:

wKgZPGdqgB-AblfYAAAktnPqqLg614.png

7B 的模型,已經到了 4G 多了,期待他能有個很好的表現。

現在是:2024 年 9 月 6 日 00:02:43,我的 7B 大模型還在下載中,已經困的不行了....

wKgZO2dqgCCAZ2gaAAAkH_ElAHQ137.png

再等等....

wKgZPGdqgCCAesCYAABolZ7xrFY109.png

終于等它下載完啦,一共 4.4G,等的我都快做夢啦。切記,如果有大文件上下傳的場景,買服務器的時候一定要選擇個大帶寬的,我的這個是 10M 的帶寬,感覺遇到大文件了,還是有點不足。

下面我們開始進行評測,首先還是老規矩,先運行看看效果:

wKgZO2dqgCCAfj8OAAHZP_Ro8I4751.gif

資源占用情況:

wKgZPGdqgCGAYNriAABl4olLMgg640.png

結論:大家可以看看效果圖中,可以發現,很明顯,相比起 2B 1.5B 的這種小模型來比,7B 的模型,在響應方面確實是稍微慢了點兒,但是也沒有慢到一個字一個字的往出蹦,還是可以接受的。資源占用情況的話,CPU 占用上升到了 50.4% ,內存在原來的 34 增加到了 49。也沒有跑滿服務器。

總結

先放一張各個大小的模型之間的對比吧,從 0.5B,到 1.5B,再到 7B,以及 72B。

wKgZO2dqgCGAAFczAABWijIM_Dw316.png

大家可以從上圖中看的出來,模型越大,params 就越大,本文我們通過對 0.5b,1.5b,2b,7b 這幾個模型進行評測對比,總體來說,比我預想的要好很多,我以為 7b 的會卡的很,結果表現的很棒,這么看來,跑 8B 以內的模型是沒有問題的。

在往上的大模型,可能會吃力,不過 8B 以內,其實小微企業足矣!!!

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 云服務器
    +關注

    關注

    0

    文章

    794

    瀏覽量

    13769
  • 大模型
    +關注

    關注

    2

    文章

    3033

    瀏覽量

    3835
收藏 人收藏

    評論

    相關推薦
    熱點推薦

    華為 Flexus X 實例服務器部署即時通訊 IM 項目

    @TOC ? 寫在前面 手里拿到了一臺 華為 Flexus X 實例服務器,部署部署項目
    的頭像 發表于 02-07 10:15 ?332次閱讀
    華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b><b class='flag-5'>云</b><b class='flag-5'>服務器</b>部署即時通訊 IM 項目

    服務器 Flexus X 實例評測體驗之搭建 Redis

    ?活動中,華為推出了?Flexus X 實例,這款服務器以其柔性算力和高性能表現,受到了廣泛
    的頭像 發表于 02-06 17:50 ?299次閱讀
    <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b><b class='flag-5'>評測</b>體驗之搭建 Redis

    服務器 Flexus X 實例:one-api 部署,支持眾多大模型

    本文通過 Flexus 服務器 X 實例 部署 one-api。Flexus
    的頭像 發表于 02-06 17:35 ?481次閱讀
    <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>:one-api 部署,支持眾多大<b class='flag-5'>模型</b>

    Flexus 服務器 X 實例實踐:部署思源筆記工具

    引言 在當今數字化的浪潮中,企業和開發者對服務的需求日益增長。華為,作為計算領域的佼佼者,以其卓越的技術實力和強大的服務能力脫穎而出。
    的頭像 發表于 02-06 15:37 ?470次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:部署思源筆記工具

    Flexus 服務器 X 實例實踐:安裝 SimpleMindMap 思維導圖工具

    引言 在當今數字化時代,高效的工具對于工作和學習至關重要。華為以其卓越的品質和服務,成為眾多用戶的首選。本次我們將在華為 Flexus
    的頭像 發表于 01-17 09:44 ?1558次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:安裝 SimpleMindMap 思維導圖工具

    Flexus 服務器 X 實例實踐:部署 Alist 文件列表程序

    引言 在當今數字化時代,華為以其卓越的技術實力和可靠的服務品質成為眾多企業和開發者的首選。華為 Flexus
    的頭像 發表于 01-14 09:31 ?960次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:部署 Alist 文件列表程序

    Flexus 服務器 X 實例實踐:安裝 flatnotes 筆記應用程序

    引言 在當今數字化的浪潮中,企業和開發者對服務的需求與日俱增。華為 Flexus 服務器
    的頭像 發表于 01-13 15:52 ?631次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:安裝 flatnotes 筆記應用程序

    Flexus 服務器 X 實例實踐:安裝 Ward 服務器監控工具

    引言 在當今數字化快速發展的時代,企業和開發者對于計算資源的需求日益增長。華為憑借其卓越的技術實力脫穎而出,Flexus 服務器
    的頭像 發表于 01-13 15:51 ?373次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>實踐:安裝 Ward <b class='flag-5'>服務器</b>監控工具

    服務器 Flexus X 實例:RAG 開源項目 FastGPT 部署,玩轉大模型

    本篇文章主要通過 Flexus 服務器 X 實例 部署 RAG 開源項目 FastGPT,通過 FastGPT 可以使用大
    的頭像 發表于 01-08 11:49 ?1038次閱讀
    <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>:RAG 開源項目 FastGPT 部署,玩轉大<b class='flag-5'>模型</b>

    華為 Flexus 服務器 X 實例之 openEuler 系統下部署 dufs 文件服務器

    一、Flexus 服務器 X 實例介紹 1.1 Flexus
    的頭像 發表于 01-08 11:45 ?482次閱讀
    華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>之 openEuler 系統下部署 dufs 文件<b class='flag-5'>服務器</b>

    華為 Flexus 服務器 X 實例的使用教程

    引言 選擇一款性價比高、性能強勁的服務器是 IT 技術人員常面臨的問題。華為Flexus 服務
    的頭像 發表于 12-30 09:16 ?635次閱讀
    華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>的使用教程

    Flexus 服務器 X 實例:在 Docker 環境下搭建 java 開發環境

    引言 在科技飛速發展的時代,計算成為推動各行業進步的重要力量。華為憑借其強大的技術實力和創新精神,始終走在行業前沿。華為 Flexus
    的頭像 發表于 12-30 09:07 ?491次閱讀
    <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>:在 Docker 環境下搭建 java 開發環境

    華為 Flexus X 實例 MySQL 性能加速評測對比

    目錄 前言 1 一、Flexus 服務器 X 介紹 1 1.1 Flexus
    的頭像 發表于 12-25 17:10 ?498次閱讀
    華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b> MySQL 性能加速<b class='flag-5'>評測</b>及<b class='flag-5'>對比</b>

    華為 Flexus 服務器 X 實例 使用流程

    評測與應用體驗:高性能與經濟性的完美結合引言在計算領域,彈性算力的需求日益增長。傳統服務器通常提供固定的規格,導致資源浪費和不匹配的性能問題。華為
    的頭像 發表于 12-24 17:28 ?405次閱讀
    華為 <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b> 使用流程

    華為 Flexus 服務器 X 實例的購買及使用體驗

    價比服務。其中,華為 Flexus 服務器 X
    的頭像 發表于 12-24 17:26 ?519次閱讀
    華為<b class='flag-5'>云</b> <b class='flag-5'>Flexus</b> <b class='flag-5'>云</b><b class='flag-5'>服務器</b> <b class='flag-5'>X</b> <b class='flag-5'>實例</b>的購買及使用體驗