小型化、私有化， 大廠競逐端側(cè)生成式AI

2024年，端側(cè)運(yùn)行生成式AI，幾乎成了Intel、AMD、高通等廠商下一代芯片的標(biāo)配。

在CES上大火的Rabbit R1，可以利用ChatGPT來操作很多手機(jī)端的app，完全自然語言控制，演示視頻讓很多自媒體鼓吹可以拋棄手機(jī)了，但是有拿到產(chǎn)品的網(wǎng)友實(shí)測后發(fā)現(xiàn)，單任務(wù)響應(yīng)時(shí)間超過20s，用戶體驗(yàn)不友好。

在網(wǎng)絡(luò)訪問不暢通的情況下，如何才能獲得實(shí)時(shí)、低延遲的響應(yīng)？答案是，把生成式AI服務(wù)放在端側(cè)，而不是在云、數(shù)據(jù)中心和端側(cè)節(jié)點(diǎn)之間頻繁傳輸。基于SG2300x打造的端側(cè)生成式AI盒子Airbox，Llama-7B的速度可以達(dá)到12 tokens/s，StableDiffusion 1s 出圖，讓生成式AI觸手可及。

SG2300X：令人驚喜的端側(cè)生成式AI處理能力

SG2300X處理器擁有24T的算力，能夠流暢運(yùn)行像LLAMA-2 7B這樣的生成式AI。

SG2300X驚人的算力使其可以在更短的時(shí)間內(nèi)處理更多的數(shù)據(jù)，實(shí)現(xiàn)更快的響應(yīng)速度，為用戶帶來更加流暢和智能的體驗(yàn)。

瑞莎 AirBox：國產(chǎn)化邊緣智算設(shè)備

瑞莎 Fogwise AirBox是瑞莎計(jì)算機(jī)團(tuán)隊(duì)研發(fā)的搭載SG2300X的邊緣智算盒子，算力高達(dá) 24TOPS@INT8，支持多精度（INT8、FP16/BF16、FP32），支持私有 GPT、文本到圖像等主流智能模型部署，配備鋁合金外殼，可在惡劣環(huán)境中部署。

AirBox 的核心元器件皆采用國產(chǎn)元器件，且瑞莎計(jì)算機(jī)擁有AirBox的完全知識產(chǎn)權(quán)，無懼“卡脖子”。

大算力+大內(nèi)存，AirBox打開智能本地化潘多拉魔盒

SG2300X中運(yùn)行的 Llama-7B 模型，權(quán)重量化為 INT4，計(jì)算采用 FP16，在計(jì)算第一個(gè) token 的時(shí)候算力利用率最高達(dá)到了80%，后續(xù)的推理有kvcache 加持，算力需求有所下降，數(shù)據(jù)搬運(yùn)的時(shí)間完全覆蓋了計(jì)算的時(shí)間，瓶頸從計(jì)算來到了帶寬上。

而 StableDiffusion 類的模型，全程都會有密集的算力需求，所以如果想要同時(shí)高效運(yùn)行 LLM 和 Stable Diffusion 類模型，大算力和大內(nèi)存都是需要的，Airbox 采用的主控 SG2300x 擁有 24TOPS 的 INT8、12TFLOPS 的 FP16 以及 16G 的內(nèi)存、128bit帶寬，恰逢其時(shí)。

本地運(yùn)行并且把響應(yīng)時(shí)間控制到 1s 以內(nèi)，將極大地提升用戶體驗(yàn)。以 qwen-7b 模型為例，跑在 Airbox 上的 latency 為 0.6s，后續(xù)推理的速度達(dá)到 12 token/s，能夠滿足自然語言問答、語音交互等場景的實(shí)時(shí)性需求。

Airbox 同時(shí)也是一個(gè)完整的運(yùn)行 Ubuntu Linux 的服務(wù)器，它可以支持 CASAOS，獨(dú)立提供服務(wù)，只要聯(lián)網(wǎng)的設(shè)備，就能共享它的算力，古董PC機(jī)、平板、手機(jī)、NAS、音箱、故事機(jī)、電視等設(shè)備都能擁有生成式AI的能力，”一機(jī)多用“ 已成為現(xiàn)實(shí)。

￥2699！極致性價(jià)比，讓每個(gè)人都擁有端側(cè)智能設(shè)備

對比目前主流的端側(cè)算力產(chǎn)品，AirBox本地運(yùn)行生成式AI的效率如何呢？

以Nvidia Jetson 系列多款支持生成式AI的設(shè)備為例，京東商城上 Jetson Orin 32G版本售價(jià) 8015 元，64G 版本 15600 元。

AGX Orin 通過 MLC 加速之后 Llama-7B 47tokens/s，Llama-2-13B 25 tokens/s：airbox 上 Llama2-7B 性能是 12 tokens/s, Llama2-13B 性能是 6 tokens/s，可以支持int4、int8、fp16精度，llama2 及其各種變種模型性能相似；單芯最大可以跑20B-int4的模型。

(注：Orin數(shù)據(jù)來源英偉達(dá)官網(wǎng)；此處數(shù)據(jù)越高越好)

經(jīng)測試發(fā)現(xiàn)：AGX Orin和AirBox的每人民幣（產(chǎn)品售價(jià)）可獲得的每秒token數(shù)（實(shí)際性能），AirBox有著顯著的優(yōu)勢。

Llama-7B:

AGX Orin(64G)≈0.00301 每秒token數(shù)/每人民幣

AirBox≈0.00445 每秒token數(shù)/每人民幣

Llama-13B:

AGX Orin(32G)≈0.00160 每秒token數(shù)/每人民幣

AirBox≈0.00222 每秒token數(shù)/每人民幣

AGX Orin上 Stable Diffusion 每張圖耗時(shí) 2.2s，SDXL 耗時(shí) 23.1s；Airbox使用LCM加速之后，SD1.5 耗時(shí) 1.1s，SDXL耗時(shí) 7.4s。

(注：Orin數(shù)據(jù)來源英偉達(dá)官網(wǎng)；Orin未標(biāo)明步數(shù)，此處假設(shè)都是20步；此處數(shù)據(jù)越低越好)

豐富的生態(tài)應(yīng)用

瑞莎 Fogwise AirBox 可提供卓越的智能性能，滿足您對強(qiáng)大計(jì)算能力的需求。這款小巧但功能強(qiáng)大的設(shè)備可與 Tensorflow、Pytorch 和 Caffe 等領(lǐng)先的深度學(xué)習(xí)框架無縫兼容，為用戶提供便攜、高效的智能體驗(yàn)。無論您是制造商、智算愛好者、業(yè)余愛好者還是專業(yè)人士，F(xiàn)ogwise AirBox都是您的最佳選擇。

支持LLama 3：Meta 最新開源生成式AI

Meta 表示，Llama 3 在多個(gè)關(guān)鍵基準(zhǔn)測試中展現(xiàn)出卓越性能，超越了業(yè)內(nèi)先進(jìn)的同類模型。無論是在代碼生成、復(fù)雜推理，還是在遵循指令和可視化想法方面，Llama 3 都實(shí)現(xiàn)了全面領(lǐng)先。該模型在以下五個(gè)基準(zhǔn)測試中均表現(xiàn)出色：

MMLU（學(xué)科知識理解）

GPQA（一般問題解答）

HumanEval（代碼能力）

GSM-8K（數(shù)學(xué)能力）

MATH（高難度數(shù)學(xué)問題）

面對 Llama 3 如此激動(dòng)人心的性能，Airbox 團(tuán)隊(duì)積極響應(yīng)，快速將 Llama 3 8B 移植并成功在 Airbox 上運(yùn)行。以下視頻展示了 Llama 3 8B 在 Airbox 上的運(yùn)行情況：

(注：Llama 3 8B 知識更新到 2023 年 3 月)

可以看到，Llama 3 8B 在 Airbox 上的運(yùn)行表現(xiàn)極為流暢，達(dá)到了 9.6 token/s 的處理速度，已充分展現(xiàn)出其實(shí)用價(jià)值。

AirBox 團(tuán)隊(duì)率先推出基于AirBox的Llama 3 8B 的在線體驗(yàn)，歡迎各位切身感受來自 Llama 3 的高超性能與 AirBox所提供的澎湃算力。

關(guān)注瑞莎公眾號回復(fù)【airbox】即可快速體驗(yàn)

(注：服務(wù)基于單個(gè) AirBox 部署，如同時(shí)體驗(yàn)人數(shù)較多，可能會出現(xiàn)排隊(duì)情況，如需深度體驗(yàn)，建議您在流量低峰時(shí)進(jìn)行)

支持CASA OS：輕量且功能豐富的開源面板系統(tǒng)

通過CASA OS 一鍵安裝 AirBox 生成式AI應(yīng)用

目前已支持 Stable Diffusion、Whisper、ImageSearch、ChatDoc等熱門模型，一鍵輕松安裝，免去繁瑣環(huán)境配置。

文生圖、圖生圖：為您的靈感增添翅膀

AirBox 團(tuán)隊(duì)針對 StableDiffusion 進(jìn)行深度優(yōu)化和適配，極速出圖。支持在線模型更換。

ChatDoc：讓AI讀懂你的文件

讓 AirBox 成為你的私人數(shù)據(jù)管家。

Whisper：上百種語言實(shí)時(shí)轉(zhuǎn)文本

Whisper 這個(gè)高效的語音識別模型能夠?qū)崟r(shí)將語音轉(zhuǎn)換為文本，支持近百種語言，極大地提升了信息獲取的便捷性和準(zhǔn)確性。無論是會議記錄、實(shí)時(shí)多語翻譯還是為視聽障人士提供實(shí)時(shí)字幕，Whisper 都能提供強(qiáng)大的支持，教育、醫(yī)療、法律等多個(gè)領(lǐng)域都將受益于其精準(zhǔn)和快速的語音轉(zhuǎn)錄服務(wù)。

未來，以LLaMa、Stable Diffusion、Whisper 等生成式AI模型為基座，將誕生更多模態(tài)的交叉應(yīng)用，催生出前所未見的智算能力，覆蓋語音、圖像和文本等多個(gè)領(lǐng)域。設(shè)想這樣一個(gè)場景：一個(gè)全能的智能個(gè)人助理，Whisper加TTS模型提供真實(shí)的多語種能力，實(shí)時(shí)翻譯和轉(zhuǎn)寫全球任何一種語言的對話，同時(shí)利用Stable Diffusion創(chuàng)造出視覺內(nèi)容來輔助溝通，這將徹底改變國際會議、遠(yuǎn)程教育和全球合作的方式，加速數(shù)字世界的到來！