AI時(shí)代，你需要了解的GPU互聯(lián)技術(shù)：NVLink、IB、ROCE

總線是數(shù)據(jù)通信必備管道，PCIe 是最泛使用的總線協(xié)議。總線是服務(wù)器主板上不同硬件互相進(jìn)行數(shù)據(jù)通信的管道，對數(shù)據(jù)傳輸速度起到?jīng)Q定性作用，目前最普及的總線...

2023-12-13 標(biāo)簽：數(shù)據(jù)傳輸gpuAI 1.4萬 0

機(jī)器學(xué)習(xí)硬件性能的最新趨勢

許多DGX H100服務(wù)器又可以組成所謂的SuperPOD，其中各個(gè)獨(dú)立服務(wù)器中的加速器仍可使用NVLink傳輸數(shù)據(jù)，但耦合程度較低。每個(gè)SuperPO...

2023-12-13 標(biāo)簽：cpu加速器gpu 570 0

什么是第三代通用計(jì)算？既通用又高性能的計(jì)算存在嗎？

對大芯片來說，通用是成功的必由之路。CPU是通用芯片，成就了Intel的成功；GPU是通用芯片，成就了NVIDIA的成功。目前，還沒有看到做專用芯片非常...

2023-12-12 標(biāo)簽：集成電路cpugpu 1087 0

簡單認(rèn)識高級處理器

除了傳統(tǒng)的處理器 (CPU、MPU/MCU、DSP 和 GPU)，面向當(dāng)代各種應(yīng)用的高級處理器（Advanced Processors）層出不窮，例如加...

2023-12-07 標(biāo)簽：處理器dspamd 1221 0

解讀AMD的“分布式幾何”新專利（GPU的完全小芯片方法）

AMD 的專利詳細(xì)介紹了一種方法，即放棄中央處理器，用多個(gè)小芯片取代單個(gè)硅塊，每個(gè)小芯片處理自己的任務(wù)。渲染指令以稱為命令列表的長序列發(fā)送到 GPU，其...

2023-12-06 標(biāo)簽：處理器amdgpu 809 0

下一代HBM技術(shù)路線選擇對行業(yè)有何影響？

HBM 存儲器堆棧通過微凸塊連接到 HBM 堆棧中的硅通孔（TSV 或連接孔），并與放置在基礎(chǔ)封裝層上的中間件相連，中間件上還安裝有處理器，提供 HBM...

2023-12-06 標(biāo)簽：DRAM存儲器gpu 643 0

理解KV cache的作用及優(yōu)化方法

MQA (Multi Query Attention，多查詢注意力) 是多頭注意力的一種變體。其主要區(qū)別在于，在 MQA 中不同的注意力頭共享一個(gè)K和V...

2023-12-04 標(biāo)簽：gpuGPTLLM 8648 0

Xen雙系統(tǒng)GPU資源分配過程

i.MX8 有兩個(gè) GPU，型號為 GC7000，這兩個(gè) GPU 可以同時(shí)分給 Kernel 系統(tǒng)，也可以同時(shí)分給 Android 系統(tǒng)，也可以一邊分配...

2023-12-04 標(biāo)簽：NXPAndroidgpu 786 0

盤點(diǎn)GPU Fabric典型拓?fù)浣Y(jié)構(gòu)

當(dāng)前，許多超大規(guī)模廠商正在競相構(gòu)建大型 GPU 集群，以適應(yīng)GenAI訓(xùn)練工作負(fù)載。本文探討了針對GenAI訓(xùn)練工作負(fù)載進(jìn)行優(yōu)化的各種網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，如M...

2023-12-03 標(biāo)簽：負(fù)載gpu拓?fù)浣Y(jié)構(gòu) 3916 0

從圖形到通用計(jì)算：GPGPU技術(shù)的進(jìn)化之路

在當(dāng)今的計(jì)算世界中，GPGPU（General-Purpose computing on Graphics Processing Units）已成為一種...

2023-12-01 標(biāo)簽：gpu圖形處理GPGPU 1647 0

深入理解BigBird的塊稀疏高效實(shí)現(xiàn)方案

RoBERTa 架構(gòu)的 BigBird 模型現(xiàn)已集成入 transformers 中。本文的目的是讓讀者 深入 了解 BigBird 的實(shí)現(xiàn)，并讓讀者能...

2023-11-29 標(biāo)簽：gpu算法Transformer 770 0

全球及中國Al服務(wù)器市場規(guī)模情況

未來全球服務(wù)器市場規(guī)模有望超萬億。長遠(yuǎn)來看，在國內(nèi)外數(shù)據(jù)流量迅速增長以及公有云蓬勃發(fā)展的背景下，服務(wù)器作為云網(wǎng)體系中最重要的算力基礎(chǔ)設(shè)施，未來存在巨大的...

2023-11-29 標(biāo)簽：gpu服務(wù)器AI 2816 0

光器件的最新研究和發(fā)展趨勢

此次，我們將報(bào)道旨在實(shí)現(xiàn)光互連的光器件的最新研究和發(fā)展趨勢。

2023-11-29 標(biāo)簽：gpu人工智能光器件 1337 0

PyTorch使用高頻代碼段分享

在硬件設(shè)備（CPU、GPU）不同時(shí)，完全的可復(fù)現(xiàn)性無法保證，即使隨機(jī)種子相同。但是，在同一個(gè)設(shè)備上，應(yīng)該保證可復(fù)現(xiàn)性。具體做法是，在程序開始的時(shí)候固定t...

2023-11-27 標(biāo)簽：cpugpu函數(shù) 571 0

雙目影像密集匹配算法的綜合分析

自適應(yīng)權(quán)重法是推動局部密集匹配算法發(fā)展的關(guān)鍵。自2006年Yoon等[53]首次提出可以在匹配質(zhì)量與全局匹配算法相媲美的局部匹配方法后，局部匹配算法再次...

2023-11-27 標(biāo)簽：fpgagpu計(jì)算機(jī)視覺 2103 0

如何利用3D點(diǎn)編碼提升PETRV1/V2及StreamPETR性能

由于3DPPE在構(gòu)建圖像特征的位置編碼時(shí)引入了顯式的深度信息，使得對應(yīng)的位置先驗(yàn)與真實(shí)物理世界的分布更為一致，從而有效的減緩了沿射線方向的誤檢。

2023-11-24 標(biāo)簽：cpugpu特斯拉 974 0

馬斯克星鏈與芯事：30億炸出衛(wèi)星互聯(lián)網(wǎng)革命，GPU算力創(chuàng)無限可能

據(jù)最新消息，馬斯克“千人上火星計(jì)劃”又一次未能如愿。據(jù)不完全統(tǒng)計(jì)，他在星艦項(xiàng)目上投入至少30億美元，總投入超過200億人民幣。然而，盡管投入巨大，星艦研...

2023-11-24 標(biāo)簽：gpu衛(wèi)星馬斯克 1801 0

AI芯片設(shè)計(jì)的模式和問題

　人工智能涵蓋了從訓(xùn)練算法到推理的方方面面。它包括大量的訓(xùn)練計(jì)劃，以及可以適應(yīng)微型物聯(lián)網(wǎng)設(shè)備的tinyML算法。此外，它越來越多地用于芯片設(shè)計(jì)的許多方面...

2023-11-23 標(biāo)簽：gpu芯片設(shè)計(jì)人工智能 469 0