與上一代產(chǎn)品相比，第五代英特爾 至強(qiáng) 可擴(kuò)展處理器實(shí)現(xiàn)了令人驚喜的性能提升，能夠有助于進(jìn)一步釋放星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 的性能潛力，為用戶帶來(lái)強(qiáng)大的向量數(shù)據(jù)處理能力，這在大模型訓(xùn)練等場(chǎng)景中有著重要的 意義，可幫助用戶更高效、 更精確地打造大模型產(chǎn)品。

— 朱珺辰

星環(huán)科技聯(lián)合創(chuàng)始人兼副總裁

百花齊放的大模型時(shí)代凸顯了分布式向量數(shù)據(jù)庫(kù)的關(guān)鍵角色，追求更高的數(shù)據(jù)庫(kù)性能成為推動(dòng)大模型創(chuàng)新、釋放大模型潛力的重要方向。英特爾與星環(huán)科技的合作證明，第五代英特爾 至強(qiáng) 可擴(kuò)展處理器可顯著提升 Transwarp Hippo 的性能表現(xiàn)，加速海量、多維向量數(shù)據(jù)處理，賦能智能時(shí)代變革。

— 唐炯

英特爾中國(guó)軟件技術(shù)合作事業(yè)部總經(jīng)理

挑 戰(zhàn)

以大語(yǔ)言模型為代表的人工智能 (AI) 應(yīng)用出現(xiàn)爆炸式增長(zhǎng)背景下，企業(yè)對(duì)于非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)與處理需求出現(xiàn)了快速增長(zhǎng)，分布式向量數(shù)據(jù)庫(kù)得到了普遍應(yīng)用。而隨著數(shù)據(jù)處理規(guī)模的增長(zhǎng)，企業(yè)對(duì)于分布式向量數(shù)據(jù)庫(kù)的性能有著更高的要求，提升性能通常可以從以下幾個(gè)方面入手：

提升 CPU 性能

向量相似度檢索、高密度向量聚類等負(fù)載屬于 CPU 密集型負(fù)載，這導(dǎo)致 CPU 成為限制分布式向量數(shù)據(jù)庫(kù)性能提升的主要瓶頸，通過(guò)升級(jí)到新一代英特爾 至強(qiáng) 可擴(kuò)展處理器平臺(tái)，將有助于提升數(shù)據(jù)庫(kù)的處理能力。

壓縮數(shù)據(jù)庫(kù)的海量數(shù)據(jù)

數(shù)據(jù)庫(kù)中的海量數(shù)據(jù)帶來(lái)了巨大性能壓力。通過(guò)數(shù)據(jù)壓縮，將能夠減少存儲(chǔ)數(shù)據(jù)所需的空間，并相應(yīng)地提高 I/O 性能。

對(duì)于數(shù)據(jù)庫(kù)進(jìn)行性能優(yōu)化

通過(guò)水平擴(kuò)展架構(gòu)、基于 CPU 的向量化指令優(yōu)化、多元芯片加速等技術(shù)，將有助于發(fā)揮并行檢索能力，為海量、多維向量處理提供強(qiáng)大算力支持。

解決方案概述

分布式向量數(shù)據(jù)庫(kù)在大模型應(yīng)用中扮演著重要角色，大模型 + 向量數(shù)據(jù)庫(kù)的架構(gòu)能夠讓大模型保持?jǐn)?shù)據(jù)的實(shí)時(shí)性，使大模型擁有 “長(zhǎng)期記憶”，解決模型需要多次二次訓(xùn)練才能滿足不同業(yè)務(wù)需求。同時(shí)，通過(guò)多模態(tài)信息的向量化，幫助大模型滿足回答信息實(shí)時(shí)性要求。用戶可以通過(guò)表示學(xué)習(xí)的預(yù)處理方式，將文檔、圖片、音視頻等非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為多維向量，并存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，從而很好地解決大模型訓(xùn)練中的實(shí)時(shí)性、精度校正等問(wèn)題。隨著大模型等應(yīng)用的快速發(fā)展，分布式向量數(shù)據(jù)庫(kù)的應(yīng)用場(chǎng)景在不斷拓展，但也面臨著日趨嚴(yán)峻的性能挑戰(zhàn)。

星環(huán)科技與英特爾合作，推出了基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的 Transwarp Hippo 分布式向量數(shù)據(jù)庫(kù)解決方案。該方案利用第五代英特爾 至強(qiáng) 可擴(kuò)展處理器帶來(lái)的強(qiáng)大算力，實(shí)現(xiàn)了約 2 倍的代際性能提升¹ ，可有效滿足大模型時(shí)代海量、高維向量的存儲(chǔ)和計(jì)算需求，能夠幫助企業(yè)更好地應(yīng)對(duì)大模型時(shí)代海量、多維向量數(shù)據(jù)的高并發(fā)和實(shí)時(shí)計(jì)算等挑戰(zhàn)。

星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo

星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 作為一款企業(yè)級(jí)云原生分布式向量數(shù)據(jù)庫(kù)，基于分布式特性，可以對(duì)文檔、圖片、音視頻等多源、海量數(shù)據(jù)轉(zhuǎn)化后的多維向量進(jìn)行統(tǒng)一存儲(chǔ)和管理。它能夠通過(guò)水平擴(kuò)展架構(gòu)，充分發(fā)揮并行檢索能力，實(shí)現(xiàn)毫秒級(jí)高性能數(shù)據(jù)檢索，結(jié)合相似度檢索等技術(shù)，幫助用戶快速挖掘數(shù)據(jù)價(jià)值。

與開(kāi)源的向量數(shù)據(jù)庫(kù)不同，星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 具備高可用、高性能、易拓展等特點(diǎn)，支持多種向量搜索索引，支持?jǐn)?shù)據(jù)分區(qū)分片、數(shù)據(jù)持久化、增量數(shù)據(jù)攝取、向量標(biāo)量字段過(guò)濾混合查詢等功能，很好地滿足了企業(yè)針對(duì)海量向量數(shù)據(jù)的高實(shí)時(shí)性檢索等場(chǎng)景。

圖 1. 星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 產(chǎn)品架構(gòu)

采用第五代英特爾 至強(qiáng) 可擴(kuò)展處理器提升 2 倍性能²

為了進(jìn)一步提升性能表現(xiàn)，星環(huán)科技驗(yàn)證了基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 的性能表現(xiàn)。

第五代英特爾 至強(qiáng) 可擴(kuò)展處理器擁有更可靠的性能，更出色的能效。它在運(yùn)行各種工作負(fù)載時(shí)均可實(shí)現(xiàn)顯著的每瓦性能增益，在 AI、數(shù)據(jù)中心、網(wǎng)絡(luò)和科學(xué)計(jì)算的性能和總體擁有成本 (TCO) 方面亦有更出色的表現(xiàn)。相較上一代產(chǎn)品，第五代英特爾 至強(qiáng) 可擴(kuò)展處理器可在相同功耗范圍內(nèi)提供更高的算力和更快的內(nèi)存。此外，它與上一代產(chǎn)品的軟件和平臺(tái)兼容，因此部署新系統(tǒng)時(shí)可大大減少測(cè)試和驗(yàn)證工作。

圖 2. 第五代英特爾 至強(qiáng) 可擴(kuò)展處理器帶來(lái)更多創(chuàng)新特性

為了驗(yàn)證在升級(jí)為第五代英特爾 至強(qiáng) 可擴(kuò)展處理器之后星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 的性能表現(xiàn)，星環(huán)科技在選用了 Transwarp KNN search 評(píng)測(cè)程序，該評(píng)測(cè)程序模擬用戶的 top K 鄰近范圍查詢。測(cè)試數(shù)據(jù)如圖 3 所示，對(duì)比第三代英特爾 至強(qiáng) 可擴(kuò)展處理器，基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的 Transwarp Hippo 性能是其 2.07 倍⁷ 。

圖 3. 基于不同代際英特爾 至強(qiáng) 可擴(kuò)展處理器的 Transwarp Hippo 性能對(duì)比

收 益

在搭配第五代英特爾 至強(qiáng)可擴(kuò)展處理器之后，星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 能夠提供強(qiáng)大的性能基礎(chǔ)，在大模型等場(chǎng)景創(chuàng)造巨大價(jià)值。

支撐數(shù)據(jù)的高效處理：基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的 Transwarp Hippo 能夠?qū)崿F(xiàn)海量、高維度向量數(shù)據(jù)處理，并具備低時(shí)延、高精確度等優(yōu)勢(shì)，可以滿足大模型訓(xùn)練等場(chǎng)景對(duì)于數(shù)據(jù)處理能力的苛刻要求。 降低向量數(shù)據(jù)庫(kù)的總體擁有成本 (TCO)：由于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器實(shí)現(xiàn)了代際性能的大幅提升，有助于提升 Transwarp Hippo 服務(wù)器節(jié)點(diǎn)的性能密度，幫助用戶節(jié)省在服務(wù)器采購(gòu)、部署等方面的投資。同時(shí)，第五代英特爾 至強(qiáng) 可擴(kuò)展處理器在性能提升的同時(shí)，具備更高的每瓦性能，有助于節(jié)省單位性能的能耗支出。 具備性能進(jìn)一步提升潛力：除了更多的核心數(shù)量，更快的 IPC 性能之外，第五代英特爾 至強(qiáng) 可擴(kuò)展處理器還搭載了英特爾 In-Memory Analytics Accelerator（英特爾 IAA）等硬件加速特性，有助于進(jìn)一步提升數(shù)據(jù)庫(kù)等場(chǎng)景的性能。

展 望

基于第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo，提供了領(lǐng)先的性能表現(xiàn)，可以有效地解決大模型在知識(shí)時(shí)效性低、輸入能力有限、準(zhǔn)確度低等問(wèn)題。通過(guò)將最新資料、專業(yè)知識(shí)、個(gè)人習(xí)慣等海量信息向量化存儲(chǔ)在星環(huán)科技分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 中，企業(yè)可以有效拓展大模型的應(yīng)用邊界，讓大模型保持信息實(shí)時(shí)性，并能夠動(dòng)態(tài)調(diào)整。

除了分布式向量數(shù)據(jù)庫(kù) Transwarp Hippo 之外，星環(huán)科技與英特爾正在面向更多的產(chǎn)品與場(chǎng)景，驗(yàn)證第五代英特爾 至強(qiáng) 可擴(kuò)展處理器的性能表現(xiàn)，并通過(guò)軟硬件協(xié)同調(diào)優(yōu)等方式，加速處理器的性能釋放，從而在加快海量數(shù)據(jù)處理的同時(shí)，幫助用戶節(jié)省在基礎(chǔ)設(shè)施方面的成本，提升投資回報(bào)率。

點(diǎn)擊下方閱讀原文了解更多信息

參考資料：

1 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開(kāi)展的測(cè)試。測(cè)試配置 — 基準(zhǔn)配置：雙路英特爾 至強(qiáng) 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾至強(qiáng) 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來(lái)源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

2 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開(kāi)展的測(cè)試。測(cè)試配置 — 基準(zhǔn)配置：雙路英特爾 至強(qiáng) 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾 至強(qiáng) 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來(lái)源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

3 與第四代英特爾 至強(qiáng) 處理器相比的平均性能提升，以 SPEC CPU rate、STREAM Triad 和 LINPACK 的幾何平均值為衡量標(biāo)準(zhǔn)。請(qǐng)參閱 intel.com/processorclaims 上的 [G1]：第五代英特爾 至強(qiáng)可擴(kuò)展處理器。結(jié)果可能有所差異。

4 請(qǐng)參閱 intel.com/processorclaims 上的 [G12]：第五代英特爾 至強(qiáng) 可擴(kuò)展處理器。結(jié)果可能有所差異。

5 請(qǐng)參閱 intel.com/processorclaims 上的 [G11]：第五代英特爾 至強(qiáng) 可擴(kuò)展處理器。結(jié)果可能有所差異。

6 使用內(nèi)置加速器在 AI、數(shù)據(jù)和網(wǎng)絡(luò)工作負(fù)載上進(jìn)行測(cè)量，取得 1.46 到 10.6 倍的每瓦性能提升。請(qǐng)參閱 intel.com/processorclaims 上的 [A19-A25]、[D1]、[D2]、[D5] 和 [N16]：第五代英特爾 至強(qiáng) 可擴(kuò)展處理器。結(jié)果可能有所差異。

7 數(shù)據(jù)援引自截至 2023 年 11 月由星環(huán)科技開(kāi)展的測(cè)試。測(cè)試配置 — 基準(zhǔn)配置：雙路英特爾 至強(qiáng) 鉑金 8380 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR5 5600 MT/s)，800 GB 固態(tài)盤， CentOS Stream 8，Kernel 5.19.0；新配置：雙路英特爾 至強(qiáng) 鉑金 8592+ 處理器，40 核，1024 GB 總內(nèi)存 (16x64 GB DDR4 3200 MT/s)，800 GB 固態(tài)盤，CentOS Stream 8，Kernel 5.19.0。英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來(lái)源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。

實(shí)際性能受使用情況、配置和其他因素的差異影響。更多信息請(qǐng)見(jiàn) www.Intel.com/PerformanceIndex

性能測(cè)試結(jié)果基于配置信息中顯示的日期進(jìn)行測(cè)試，且可能并未反映所有公開(kāi)可用的安全更新。詳情請(qǐng)參閱配置信息披露。沒(méi)有任何產(chǎn)品或組件是絕 對(duì)安全的。

具體成本和結(jié)果可能不同。

英特爾技術(shù)可能需要啟用硬件、軟件或激活服務(wù)。

英特爾未做出任何明示和默示的保證，包括但不限于，關(guān)于適銷性、適合特定目的及不侵權(quán)的默示保證，以及在履約過(guò)程、交易過(guò)程或貿(mào)易慣例中引 起的任何保證。

英特爾并不控制或?qū)徲?jì)第三方數(shù)據(jù)。請(qǐng)您審查該內(nèi)容，咨詢其他來(lái)源，并確認(rèn)提及數(shù)據(jù)是否準(zhǔn)確。