如今的GPU遠不止是一種圖形芯片。多年來，已經(jīng)成為人工智能革命的核心。這在很大程度上歸功于這樣一個事實，即用于高保真3D圖像處理的計算基礎(chǔ)非常適合支撐神經(jīng)網(wǎng)絡(luò)的數(shù)學，這些神經(jīng)網(wǎng)絡(luò)為當今最復(fù)雜的人工智能應(yīng)用提供動力。

人工智能、機器學習、圖像處理有很多共同之處，因此圖形處理單元(GPU)可以同時執(zhí)行這兩項事務(wù)的操作并不奇怪，這將為人們帶來驚喜的沉浸式應(yīng)用程序。

如今的GPU遠不止是一種圖形芯片。多年來，已經(jīng)成為人工智能革命的核心。這在很大程度上歸功于這樣一個事實，即用于高保真3D圖像處理的計算基礎(chǔ)非常適合支撐神經(jīng)網(wǎng)絡(luò)的數(shù)學，這些神經(jīng)網(wǎng)絡(luò)為當今最復(fù)雜的人工智能應(yīng)用提供動力。

GPU似乎從一開始就為人工智能設(shè)計，但這會歪曲這項技術(shù)的歷史發(fā)展。Nvidia、AMD和其他芯片制造商多年來為PC圖形、交互式游戲、圖像后處理、虛擬桌面基礎(chǔ)設(shè)施提供了大量產(chǎn)品。

然而，圖形處理和人工智能之間具有親和力是不可否認的。例如，卷積神經(jīng)網(wǎng)絡(luò)(CNN)處于人工智能的最前沿，主要用于圖像分析、分類、渲染、操作。毫無疑問，GPU在許多應(yīng)用中是卷積神經(jīng)網(wǎng)絡(luò)(CNN)處理的主要硬件工具之一。

人工智能和圖像處理的共同點

從技術(shù)角度來看，圖像處理和人工智能的共同之處在于依賴于高度并行的矩陣和向量運算，這是GPU發(fā)揮作用的地方?；旧?，人工智能術(shù)語中的矩陣(也稱為“張量圖”)等效于計算機生成的圖像幀中的像素矩陣或點的行和列。GPU的嵌入式存儲器結(jié)構(gòu)將整個圖形圖像處理為矩陣，可能通過自適應(yīng)智能來豐富，而自適應(yīng)智能來自深度學習和其他人工智能矩陣的并發(fā)執(zhí)行。該架構(gòu)使GPU供電的系統(tǒng)能夠使用內(nèi)聯(lián)人工智能動態(tài)地和有選擇地加速圖像更新和修改的處理。

這些工作負載之間的共生關(guān)系在應(yīng)用程序級別也是顯而易見的，這解釋了GPU通常是許多智能、圖形豐富的應(yīng)用程序的首選硬件加速器技術(shù)的原因。人們越來越多地將人工智能嵌入到大眾市場的圖像處理產(chǎn)品中，例如自動穩(wěn)定圖像的智能相機，可以調(diào)整色彩和曝光，選擇焦點，以及根據(jù)所捕捉的場景實時地調(diào)整現(xiàn)場的圖像，從而減少拍出拙劣照片的可能性。

同樣，人們看到越來越多采用GPU驅(qū)動的人工智能來實現(xiàn)復(fù)雜的圖像處理功能，如去噪、分辨率縮放、可變速率著色、物體檢測、邊緣檢測、運動檢測，以及嵌入到智能相機中缺失元素的插值。基于瀏覽器的機器學習越來越多地應(yīng)用于GPU提升的圖形密集型應(yīng)用程序，如圖像檢測、識別、分類和操作。GPU正在為生成性對抗網(wǎng)絡(luò)(GAN)提供動力，這是一種領(lǐng)先的人工智能方法，其圖形應(yīng)用包括為游戲、藝術(shù)、娛樂、醫(yī)療和其他應(yīng)用生成逼真的高分辨率圖像。

除了其他應(yīng)用之外，甚至還有新一代支持GPU的智能手機應(yīng)用動態(tài)圖像處理，旨在為人臉圖像呈現(xiàn)逼真的(但基本上是觸摸式的)增強效果。

雖然在大多數(shù)部署中GPU和CPU之間存在共生關(guān)系，但很明顯GPU的優(yōu)勢顯而易見：與CPU內(nèi)核相比，GPU的執(zhí)行單元(稱為流多處理器)可以并行執(zhí)行更多操作。GPU可以在本地存儲器和寄存器中存儲更多可重用的高速緩存數(shù)據(jù)，以實現(xiàn)快速矢量化和矩陣乘法。 GPU還具有更高的內(nèi)存帶寬和線程并行性，并且可以在短路徑寄存器內(nèi)存中保存比CPU更多的數(shù)據(jù)。

Nvidia公司的圖靈架構(gòu)將實現(xiàn)人工智能驅(qū)動的沉浸式體驗

Nvidia公司推出的GPU具有將3D圖像處理與人工神經(jīng)網(wǎng)絡(luò)相結(jié)合的應(yīng)用中的長期優(yōu)勢。圖靈是Nvidia的第八代GPU架構(gòu)，已經(jīng)集成到幾個新的GPU中：Nvidia Quadro RTX 8000，Quadro RTX 6000，Quadro RTX 5000。此外還增強了圖形優(yōu)化的CUDA核心和人工智能增強張量(Tensor)核心作為供應(yīng)商GPU早期版本不可或缺的一部分，Nvidia公司已將新的圖形優(yōu)化技術(shù)整合到圖靈架構(gòu)中，稱之為RT核心，旨在使Nvidia公司的GPU在實時場景中執(zhí)行光線跟蹤操作的速度更快，效率更高。

光線跟蹤技術(shù)迄今為止只在高性能計算機生成的成像應(yīng)用中使用。盡管Nvidia公司正在推廣圖靈的實時光線追蹤技術(shù)，主要是為了“逼真的游戲”，這也有助于解釋微軟公司對該技術(shù)的投資，該功能顯然非常適合依賴于逼真的視覺處理來提供的任何真實應(yīng)用。沉浸式體驗的作用是模擬周圍環(huán)境中物體如何反射、衍射、漫射或阻擋光線。與傳統(tǒng)的光柵化計算機視覺效果相比，動態(tài)光線追蹤的場景看起來更加逼真。實時光線跟蹤可以高保真地模擬眩光、陰影、顏色偏移和其他光線傳播效果的移動模式。

雖然計算更加密集，但實時光線跟蹤可以在游戲、協(xié)作和其他沉浸式應(yīng)用程序中發(fā)揮重要作用，用戶期望虛擬和物理世界的無縫融合。因此，Nvidia公司圖靈GPU面向任何人工智能增強的圖形應(yīng)用程序，讓用戶沉浸在完全人工的數(shù)字環(huán)境中，將虛擬對象覆蓋在真實環(huán)境上，或者將虛擬對象錨定到現(xiàn)實世界，讓用戶與之交互虛擬對象。

換句話說，由Nvidia公司的圖靈架構(gòu)所代表的GPU是虛擬、增強和混合現(xiàn)實設(shè)備和應(yīng)用程序的重要組成部分。因此毫不奇怪，Nvidia公司的圖靈架構(gòu)包括對VirtualLink的本機支持，VirtualLink是一種新的USB-C備用模式，可以圍繞單條高帶寬USB-C電纜標準化虛擬現(xiàn)實連接。毫無疑問，英特爾公司計劃在未來兩年內(nèi)推出自己的GPU，盡管似乎有些晚，奇怪的是只是針對游戲，并且似乎旨在蠶食其新近宣布的下一代圖形多核CPU的市場，并針對游戲和內(nèi)容創(chuàng)建中的圖形工作負載進行了優(yōu)化。

無論如何，Nvidia公司似乎有可能通過圖靈芯片擴展其GPU市場領(lǐng)先地位。其新一代GPU非常適合領(lǐng)先的沉浸式應(yīng)用，這些應(yīng)用將人工智能更進一步地推向全球的移動、嵌入式、邊緣和物聯(lián)網(wǎng)(IoT)應(yīng)用。

人們期待看到應(yīng)用沉浸式技術(shù)

很容易想象部署圖靈GPU的各種圖形豐富的人工智能應(yīng)用程序：

?協(xié)作：人工智能生成的圖形化本身可以支持虛擬和物理協(xié)作的沉浸式混合，其中每個人都可以采用耳機和降噪耳機，進入?yún)f(xié)作的、沉浸式虛擬環(huán)境。

?學習：人工智能生成的模擬可以為個人和群體提供交互式、逼真、3D體驗式學習環(huán)境。

?營銷：人工智能生成的產(chǎn)品目錄可以使逼真渲染的3D項目實際上覆蓋、放置、定制和安裝在客戶的身體或家中、汽車和其他環(huán)境中。

?設(shè)計：開發(fā)人員和工程師可以使用人工智能生成的原型與完美渲染的3D設(shè)計進行交互，以便在將其投入物理原型或發(fā)送到工廠和車間之前進行可能的創(chuàng)建。

?導(dǎo)航：人工智能生成的圖形自動完成或“修復(fù)”，在顯示器中顯示時，可以幫助駕駛員查看車輛盲點中的內(nèi)容，或突出他們可能擁有的實時環(huán)境中所忽視的物體。

?醫(yī)學：當使用智能護目鏡時，采用人工智能技術(shù)增強圖形分辨率可以幫助醫(yī)生在執(zhí)行外科手術(shù)時更容易看到身體組織的細微細節(jié)，而醫(yī)學人體模型實際上可以疊加在實際患者身上，以協(xié)助診斷，訓練和其他醫(yī)療保健方案

?工業(yè)：人工智能增強型數(shù)字孿生環(huán)境，可以支持混合物理和虛擬環(huán)境中的制造、物流和其他工業(yè)實體資產(chǎn)的圖形建模、優(yōu)化和維護。

GPU不擅長的地方

但請記住，GPU并不是一種通用的硬件加速器。GPU通常具有比CPU更少的內(nèi)存容量，GPU必須使用CPU來提取數(shù)據(jù)，并且GPU時鐘速度最多只占高端CPU的三分之一，這限制了GPU快速處理順序任務(wù)的能力。

同樣重要的是，GPU并不一定適合每個人工智能工作負載的最佳硬件加速器技術(shù)，它可以為圖形注入的移動、邊緣、物聯(lián)網(wǎng)和其他應(yīng)用程序提供智能。在更加現(xiàn)代產(chǎn)品核心的片上系統(tǒng)(SoC)中，GPU與CPU和各種專用神經(jīng)網(wǎng)絡(luò)處理器(如張量處理單元(TPU)，現(xiàn)場編程門陣列(FPGA))一起占用)和專用集成電路(ASIC)。

在不斷發(fā)展的智能邊緣設(shè)備生態(tài)系統(tǒng)中，真正的共生將取決于所有這些嵌入式人工智能芯片如何協(xié)同工作，以創(chuàng)建視覺體驗，這些視覺體驗以其逼真的現(xiàn)實感使人們感到驚訝。