一般來(lái)講高性能處理器都會(huì)采用深度壓縮、多管道、分支預(yù)測(cè)和動(dòng)態(tài)執(zhí)行等技術(shù)來(lái)最大限度的提升性能，但是這也都是有代價(jià)的，尤其會(huì)影響功率的效率。

如果這些任務(wù)是可以并行執(zhí)行的，那么就可以采用更多CPU的解決方案，不僅提升了性能還提高了功率效率。為了實(shí)現(xiàn)這個(gè)功能，CPU供應(yīng)商開(kāi)始提供多核和多集群的解決方案，此外操作系統(tǒng)和應(yīng)用開(kāi)發(fā)者們也開(kāi)始調(diào)整他們的軟件設(shè)計(jì)來(lái)利用這些特性。

隨著時(shí)間的推移應(yīng)用的性能要求也在不斷的變化，因此如果可能，我們需要將它們移植到更高效的CPU上來(lái)執(zhí)行提升功效。對(duì)于專業(yè)的計(jì)算密集型任務(wù)，專用的加速器能夠提供非常好的功效，但是不宜長(zhǎng)時(shí)間使用。

當(dāng)異構(gòu)處理器時(shí)代到來(lái)，從性能和低功耗的角度來(lái)看我們需要考慮哪些因素呢？不妨看看下面幾條。

多線程

即使采用動(dòng)態(tài)執(zhí)行技術(shù)，對(duì)于一般的工作負(fù)載來(lái)講，在每個(gè)時(shí)鐘周期內(nèi)CPU都不是被全部占用的，大部分時(shí)間是用來(lái)等待訪問(wèn)存儲(chǔ)器系統(tǒng)。然而當(dāng)其中一部分程序（指某個(gè)線程）發(fā)生阻塞時(shí)，硬件資源會(huì)用于其他線程任務(wù)的執(zhí)行。這也是多線程對(duì)我們是有利的原因：當(dāng)?shù)谝粋€(gè)線程阻塞時(shí)有機(jī)制能夠切換到第二個(gè)線程來(lái)執(zhí)行，這會(huì)提升整個(gè)系統(tǒng)的吞吐量。充分利用CPU運(yùn)行的每個(gè)執(zhí)行周期會(huì)帶來(lái)性能的顯著提升。更具不同的應(yīng)用，設(shè)置第二個(gè)線程會(huì)從總體上提升CPU的性能達(dá)40%，芯片的成本則只增加10%左右。Imagination推出的MIPS CPU就專門(mén)集成了硬件多線程特性。

共同的觀點(diǎn)

將一個(gè)執(zhí)行任務(wù)從一個(gè)處理器移植到另一個(gè)處理器上需要處理器具有相同的指令集和系統(tǒng)內(nèi)存空間。這個(gè)特性主要是通過(guò)共享虛擬內(nèi)存（SVM）來(lái)實(shí)現(xiàn)的，程序中的任何指針必須連續(xù)指向相同的代碼或者數(shù)據(jù)空間，任何被占用的緩存空間對(duì)于后續(xù)的處理器來(lái)說(shuō)也必須是可見(jiàn)的。

圖1：集群之間轉(zhuǎn)換時(shí)內(nèi)存移動(dòng)

圖2：?jiǎn)蝹€(gè)集群內(nèi)部轉(zhuǎn)換時(shí)更小更快的內(nèi)存移動(dòng)

緩存空間的一致性

緩存一致性可以通過(guò)軟件進(jìn)行管理，這需要在向后續(xù)處理器（CPU B）轉(zhuǎn)換之前初始處理器（CPU A）要清空它的緩存空間，備份到主存儲(chǔ)空間。然后CPU B從主存儲(chǔ)空間獲取數(shù)據(jù)和指令。這個(gè)過(guò)程會(huì)頻繁的對(duì)存儲(chǔ)空間進(jìn)行訪問(wèn)，因此會(huì)比較耗時(shí)而且消耗功率比較大；因?yàn)樵L問(wèn)主存儲(chǔ)空間通常消耗的功率會(huì)比從緩存空間取數(shù)據(jù)明顯高很多，因此這個(gè)影響會(huì)被進(jìn)一步放大。為了解決這個(gè)問(wèn)題，硬件緩存一致性能夠記住這些緩存空間的位置，確保后續(xù)的訪問(wèn)能夠獲取正確的數(shù)據(jù)。

“在很多異構(gòu)系統(tǒng)中，一個(gè)集群往往采用多個(gè)高性能處理器，同時(shí)另一個(gè)集群也會(huì)部署更小的高效處理器。在這些不同類型的處理器之間進(jìn)行任務(wù)的轉(zhuǎn)換意味著新處理器的一級(jí)和二級(jí)緩存都是空閑的，在轉(zhuǎn)換期間需要之前的緩存結(jié)構(gòu)和時(shí)間才能將新的緩存空間利用起來(lái)。

然而，我們又另一個(gè)選擇—MIPS I6500 CPU。I6500通過(guò)集成的I/O相干單元模塊（IOCU）支持異構(gòu)混合外部加速器以及同一個(gè)集群中不同類型的處理器，即一個(gè)集群中允許高性能多線程功率優(yōu)化的處理器混合使用。現(xiàn)在將任務(wù)從一種類型的處理器遷移到另一種類型的處理器上變得更加的高效，因?yàn)橹挥幸患?jí)緩存是空閑的，而且對(duì)于之前的一級(jí)緩存的訪問(wèn)代價(jià)也很低，這樣整個(gè)遷移過(guò)程就變得更加高效了。”

CPU與專用加速器的結(jié)合

CPU是通用的處理機(jī)器，它們的靈活性使他們能夠處理幾乎所有的任務(wù)，但是在效率上就大大折扣了。通過(guò)優(yōu)化PowerVR GPU能夠處理大型高并行計(jì)算密集型任務(wù)，并體現(xiàn)出較高的性能和功效，相對(duì)CPU而言其靈活性則有所降低，但是逐漸建立起了良好的軟件開(kāi)發(fā)生態(tài)系統(tǒng)，豐富的API接口如OpenCL、OpneVX等。

專用的硬件加速器具有更高的性能和功效，這一點(diǎn)明顯優(yōu)于CPU，但在靈活性方面則遠(yuǎn)遠(yuǎn)落后。

然而對(duì)于計(jì)算密集型應(yīng)用使用加速器能夠最大限度的提升系統(tǒng)性能和功效，一些專業(yè)的計(jì)算型應(yīng)用場(chǎng)景如音頻和視頻處理、機(jī)器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)處理等都采用類似的數(shù)學(xué)運(yùn)算。

硬件加速可以集成到CPU器件中，增加單指令多數(shù)據(jù)（SIMD）特性以及浮點(diǎn)計(jì)算單元（ALUs）。然而通過(guò)SIMD單元來(lái)處理數(shù)據(jù)時(shí)CPU相當(dāng)于是一個(gè)DMA（直接數(shù)據(jù)訪問(wèn)）控制器搬運(yùn)數(shù)據(jù)，CPU作為DMA控制器效率是非常低的。

相反地異構(gòu)系統(tǒng)則能兩者兼顧，它集成了一些專用的硬件加速器，融合了多個(gè)CPU內(nèi)核，通過(guò)專用的硬件的設(shè)計(jì)不僅具備更好的效率，同時(shí)也保持非常大的靈活性。

功耗的降低和性能的提升是與加速器執(zhí)行有效任務(wù)占用的時(shí)間相關(guān)的，適合加速器執(zhí)行的任務(wù)包大小范圍很廣—你可能期望少量的大型任務(wù)，而不是很多小型任務(wù)。

當(dāng)然在CPU和加速器之間的轉(zhuǎn)換也是有代價(jià)的，這會(huì)限制執(zhí)行任務(wù)的大小從而節(jié)省功率提升性能。對(duì)于小型任務(wù)，功率的消耗和任務(wù)傳輸?shù)臅r(shí)間明顯超過(guò)了使用加速器節(jié)省的功率和時(shí)間。

數(shù)據(jù)傳輸?shù)拇鷥r(jià)

為了降低時(shí)間和功耗的代價(jià)，共享虛擬內(nèi)存（SVM）和緩存一致性技術(shù)（I6500 CPU集成了這兩個(gè)特性）是最理想的選擇，它們解決了任務(wù)傳輸?shù)膯?wèn)題，因?yàn)槲覀儾恍枰龠M(jìn)行數(shù)據(jù)的拷貝和緩存的清除，當(dāng)然還有其他可用的技術(shù)能夠進(jìn)一步降低數(shù)據(jù)傳輸?shù)拇鷥r(jià)。

HAS組織開(kāi)發(fā)了一個(gè)工具來(lái)支持異構(gòu)處理模塊的集成，一個(gè)系統(tǒng)的設(shè)計(jì)遠(yuǎn)遠(yuǎn)不止CPUs和GPUs，當(dāng)然HAS系統(tǒng)還提供了一種中間性過(guò)渡語(yǔ)言稱為HSAL，通過(guò)常規(guī)的編譯轉(zhuǎn)換為異構(gòu)指令集架構(gòu)（ISAs），這樣就大大簡(jiǎn)化了系統(tǒng)軟件的開(kāi)發(fā)，同時(shí)也定義了用戶模式隊(duì)列。

用戶模式隊(duì)列能夠讓我們有計(jì)劃的安排任務(wù)的執(zhí)行順序，以及采用觸發(fā)信號(hào)，這樣就可以降低任務(wù)執(zhí)行之間的銜接開(kāi)銷(xiāo)。

異構(gòu)帶來(lái)的好處

異構(gòu)系統(tǒng)能夠讓我們有機(jī)會(huì)顯著的提升系統(tǒng)性能并且降低系統(tǒng)的功耗，使得系統(tǒng)能夠繼續(xù)擴(kuò)展，不再受之前處理能力的限制。

多線程、異構(gòu)和一致性的CPU集群如MIPS I6500處理器集成了所有這些功能特性，是異構(gòu)系統(tǒng)核心的理想選擇。因此很多應(yīng)用場(chǎng)景都將其用在下一代產(chǎn)品中，例如ADAS（高級(jí)駕駛輔助系統(tǒng)）、自動(dòng)駕駛汽車(chē)、網(wǎng)絡(luò)、無(wú)人機(jī)、工業(yè)自動(dòng)化、安全、視頻分析和機(jī)器學(xué)習(xí)等方面。