存內(nèi)計(jì)算這個(gè)概念從被提出開始，就選定了AI作為主要應(yīng)用領(lǐng)域，但苦于當(dāng)時(shí)的需求并不算高，技術(shù)也還在完善成熟中，我們更多是在一些學(xué)術(shù)論壇和行業(yè)會(huì)議上見到存儲(chǔ)廠商和AI芯片廠商對(duì)其高談闊論。

可誰(shuí)知道2023年我們迎來(lái)了消費(fèi)級(jí)存儲(chǔ)市場(chǎng)的萎靡，卻又在ChatGPT的應(yīng)援之下帶火了高帶寬內(nèi)存。這不，三星、SK海力士等廠商紛紛迎來(lái)了HBM訂單和單價(jià)的瘋漲，也使得他們打算加速推進(jìn)PIM的開發(fā)進(jìn)度。

SK海力士的AiM方案

SK海力士在近期提出了他們的首個(gè)PIM方案，AiM。AiM是一個(gè)基于GDDR6的存內(nèi)計(jì)算方案，專門為了加速內(nèi)存負(fù)載密集的機(jī)器學(xué)習(xí)應(yīng)用而設(shè)計(jì)。而GDDR6作為當(dāng)下GPU產(chǎn)品的主要顯存形式之一，提供了足夠的帶寬，但并沒有提供額外的計(jì)算能力，更別說(shuō)卸載CPU、GPU的運(yùn)算任務(wù)了。

AiM存內(nèi)加速器方案 / SK海力士

而在機(jī)器學(xué)習(xí)應(yīng)用中，SK海力士的AiM方案可以卸載96%的計(jì)算任務(wù)，交由DRAM的存內(nèi)計(jì)算單元來(lái)完成，實(shí)現(xiàn)了超高的內(nèi)存bank并行度，顯著減少了CPU與內(nèi)存之間的數(shù)據(jù)移動(dòng)，而且相比HBM，GDDR6明顯是一個(gè)成本更低的方案。

正是因?yàn)橛辛诉@些優(yōu)勢(shì)，AiM可以說(shuō)是專為GPT類應(yīng)用打造的，SK海力士也給出了在GPT模型下的性能評(píng)估。對(duì)于GPT-2和GPT-3乃至現(xiàn)在的GPT-4來(lái)說(shuō)，都屬于內(nèi)存負(fù)載密集型的應(yīng)用，所以也更容易遇到內(nèi)存墻的問(wèn)題。

SK海力士AiM的另一大優(yōu)勢(shì)在于他們已經(jīng)實(shí)現(xiàn)了全套軟件棧，包括設(shè)備驅(qū)動(dòng)、runtime庫(kù)、框架和應(yīng)用等，也支持AiM軟件仿真器，支持用戶自行開發(fā)AI應(yīng)用，而無(wú)需硬件評(píng)估板。

三星的PIM進(jìn)程

其實(shí)其他廠商也早有在PIM上布局，尤其是三星。早在2021年初推出HBM2E后，三星就已經(jīng)開始規(guī)劃如何充分利用這些高帶寬內(nèi)存的性能，其中之一就是PIM。與SK海力士不同的是，三星打造的首個(gè)PIM為HBM-PIM，在內(nèi)存核心中了集成了名為可編程計(jì)算單元的AI引擎，用于處理一部分的邏輯功能。

同年的HotChips大會(huì)上，三星展示了將其HBM-PIM集成到Xilinx的Alveo AI加速器系統(tǒng)中。根據(jù)三星提供的數(shù)據(jù)，該方案提供了2.5倍的系統(tǒng)性能提升，同時(shí)將功耗降低了60%。從三星半導(dǎo)體的PIM技術(shù)展示也來(lái)看，他們也計(jì)劃將這一技術(shù)應(yīng)用到GDDR和LPDDR中，不過(guò)這幾年間的主要技術(shù)公開展示都集中在HBM-PIM上。

除了這種將PIM集成到商用AI加速器的方案以外，三星也同時(shí)推出了直接將PIM集成到DRAM模塊中的方案AXDIMM，通過(guò)直接在DRAM模塊中對(duì)多組內(nèi)存芯片進(jìn)行并行運(yùn)算，減少了CPU和DRAM之間的大量數(shù)據(jù)移動(dòng)。

三星稱在基于AI的推薦應(yīng)用中，AXDIMM可以使得整體系統(tǒng)能效提高40%，不過(guò)對(duì)于GPT這種生成式AI類的應(yīng)用能夠帶來(lái)多少提升我們就不得而知了，畢竟三星的PIM方案推出時(shí)大部分AI應(yīng)用還停留在圖片分類、文字翻譯和語(yǔ)音識(shí)別上。

小結(jié)

從這些PIM產(chǎn)品的布局來(lái)看，集成式的方案或許對(duì)AI加速器廠商來(lái)說(shuō)更有吸引力，不管這些計(jì)算單元是CPU、GPU、FPGA還是ASIC芯片。但無(wú)論是三星還是SK海力士，這些方案落地到產(chǎn)品上都需要一定的時(shí)間，所以我們可能得等到下一代產(chǎn)品中，才能看到存內(nèi)計(jì)算的存在。

但不得不說(shuō)，對(duì)于已有布局存內(nèi)計(jì)算的存儲(chǔ)廠商來(lái)說(shuō)，這無(wú)疑是一大利好。過(guò)去這種和負(fù)責(zé)計(jì)算的邏輯芯片搶活干的設(shè)計(jì)無(wú)疑是自砸招牌，但現(xiàn)在看來(lái)卻已經(jīng)成了一種趨勢(shì)，這類存儲(chǔ)廠商對(duì)于市場(chǎng)波動(dòng)的抵抗力也會(huì)更強(qiáng)一些。只不過(guò)目前看來(lái)這類PIM技術(shù)目前還是優(yōu)先針對(duì)功耗相對(duì)較高的內(nèi)存，未來(lái)要想在移動(dòng)市場(chǎng)有所成就，還得看這些存儲(chǔ)廠商后續(xù)會(huì)推出怎樣的LPDDR-PIM方案。

審核編輯 ：李倩