微軟發(fā)明的GPU與FPGA進(jìn)行數(shù)據(jù)傳輸?shù)姆椒ǎ粌H可以帶動基于FPGA進(jìn)行人工智能芯片設(shè)計的發(fā)展，同時也可以加快深度學(xué)習(xí)技術(shù)發(fā)展的步伐。

集微網(wǎng)消息，2018年5月，在Bulid大會上，微軟宣布 Project Brainwave 開放預(yù)覽，這是一種用于深度神經(jīng)網(wǎng)絡(luò)處理的架構(gòu)，可以用于Azure與邊緣環(huán)境，并且可以讓Azure成為實時運行人工智能最快的云平臺。

為什么微軟要基于FPGA來進(jìn)行人工智能芯片設(shè)計呢？這是因為當(dāng)時微軟的搜索引擎都是依靠CPU驅(qū)動，盡管英特爾等公司不斷改進(jìn)CPU，但是這些芯片還是不能滿足微軟的需求。而此時恰好FPGA能彌補這個不足。

圖形處理單元（GPU）已經(jīng)被用于圖形應(yīng)用許多年，近年來也被應(yīng)用于其他例如圖形處理、搜索以及其他一般的應(yīng)用。雖然FPGA和GPU均可以被視為專用處理器，但是在某些場合，如果FPGA與GPU之間可以進(jìn)行通信以及任務(wù)的共享、轉(zhuǎn)交，會更加高效的完成任務(wù)，這也是基于FPGA設(shè)計人工智能芯片的重要設(shè)計方案之一。

為了實現(xiàn)FPGA與GPU之間的通信，微軟在2013年8月16日申請了一項名為“GPU和FPGA組件之間的直接通信的方法和系統(tǒng)”的發(fā)明專利（申請?zhí)枺?01380044351.6），申請人為微軟技術(shù)許可有限責(zé)任公司。

根據(jù)該專利目前公開的資料，讓我們一起來看看這項FPGA與GPU之間的通信技術(shù)吧。

如上圖，為用于GPU和FPGA組件之間直接通信的系統(tǒng)框圖，系統(tǒng)100包括存儲計算機指令的存儲器、中央處理單元（CPU）102、圖形處理單元（GPU）104和現(xiàn)場可編程門陣列（FPGA）106，這些部件通過總線進(jìn)行連接，傳輸數(shù)據(jù)包括經(jīng)由PCIe交換機在GPU和FPGA之間直接傳輸數(shù)據(jù)。

而要達(dá)到數(shù)據(jù)傳輸?shù)哪康模厝徊豢杀苊庖獙τ跀?shù)據(jù)在硬件中進(jìn)行編址，也就是例如基于虛擬存儲器存儲的數(shù)據(jù)，被存儲在不連續(xù)的塊中的數(shù)據(jù)的物理地址中時，需要進(jìn)行地址編碼。當(dāng)數(shù)據(jù)在GPU與FPGA之間傳輸時，數(shù)據(jù)可以從FPGA的存儲器傳輸?shù)紾PU中，由于采用了編址，因此也就不會發(fā)生數(shù)據(jù)錯位、丟失等問題。

在GPU和FPGA通信中，也分為直接通信和間接通信兩種方式，首先我們來看看間接通信方式。

如上圖，為GPU和FPGA組件之間間接通信的系統(tǒng)示意圖，如圖所示，數(shù)據(jù)202經(jīng)由GPU、快速PCI交換機、CPU和CPU存儲器，在GPU存儲器和FPGA存儲器之間交換。這是一個間接的路徑，由于在GPU和FPGA之間經(jīng)過了CPU，因此也被稱為GPU-CPU-FPGA傳輸。

這種間接傳輸?shù)姆绞剑m然可以保證數(shù)據(jù)在GPU和FPGA之間共享，但是由于數(shù)據(jù)經(jīng)過了兩次PCIe交換機并由于操作系統(tǒng)和CPU存儲器硬件兩者的等待時間加時，因此增加了通信等待時間和操作系統(tǒng)的開銷。

接著，我們來看看GPU和FPGA組件之間直接通信的流程圖，如上圖所示，首先要獲取標(biāo)識用于直接訪問FPGA的存儲器的地址的虛擬指針，例如FPGA驅(qū)動程序可以生成標(biāo)識用于直接訪問FPGA中的存儲器的地址的虛擬指針。

之后就可以啟動虛擬指針到與FPGA外部的GPU相關(guān)聯(lián)的圖形處理單元（GPU）驅(qū)動程序的傳輸，經(jīng)過外部的總線接口，可以直接啟動GPU與FPGA之間的數(shù)據(jù)傳輸，而無需作為中間操作來將數(shù)據(jù)存儲在中央處理單元的存儲器中。

以上就是微軟發(fā)明的GPU與FPGA之間的數(shù)據(jù)傳輸方案，在微軟進(jìn)行基于FPGA的人工智能芯片設(shè)計的過程中，F(xiàn)PGA擔(dān)任著機器學(xué)習(xí)算法的主要硬件基礎(chǔ)。這種在GPU與FPGA之間傳輸數(shù)據(jù)的技術(shù)，勢必會加速人工智能芯片的發(fā)展以及加快深度學(xué)習(xí)技術(shù)的發(fā)展。

關(guān)于嘉德

深圳市嘉德知識產(chǎn)權(quán)服務(wù)有限公司由曾在華為等世界500強企業(yè)工作多年的知識產(chǎn)權(quán)專家、律師、專利代理人組成，熟悉中歐美知識產(chǎn)權(quán)法律理論和實務(wù)，在全球知識產(chǎn)權(quán)申請、布局、訴訟、許可談判、交易、運營、標(biāo)準(zhǔn)專利協(xié)同創(chuàng)造、專利池建設(shè)、展會知識產(chǎn)權(quán)、跨境電商知識產(chǎn)權(quán)、知識產(chǎn)權(quán)海關(guān)保護(hù)等方面擁有豐富的經(jīng)驗。
責(zé)任編輯:tzh