引言

AI發展及其意義：

學術界和產業界對于人工智能的研究由來已久，但直到近期的2006年，伴隨著CNN、GPU加速和海量數據，人工智能才伴隨著機器學習（Machine Learning）/深度學習（Deep Learning）的分支再次起飛，這一次，飛到現實應用。谷歌AlphaGo打敗人類最高棋手使得人工智能引起普通民眾的注意。

深度學習為現實世界普遍存在復雜非線性問題提供了一種通用框架——不是寫程序，而是通過框架和大量的數據經過高性能計算進行求解（訓練和預測）。深度學習更加接近人類智能，并且有人類智能無可比擬的一些優越性，這為從現實世界已有的大量數據中挖掘價值提供了有效的手段。

本文：

- 分析人工智能在具體實現上的3個特點

- 探討AI芯片設計和開發的6個挑戰，以及相應的產業界方案、發展趨勢。

1. AI實現的特點

1.1 AI屬于典型的計算密集型應用

AI以密集運算為主，典型的是向量點積，基本單元是乘累加（MAC），動輒在TFLOPS量級；且對于數據帶寬要求高，相應的運算延時要求主要在應用級，不像CPU一樣敏感。

典型的通用處理器以ALU為中心，構建外圍控制、中斷和異常處理電路；為了高性能處理單元能夠填滿流水和快速運轉構建亂序和預測、cache等機制，為了對于事件快速響應。然而運算能力不強，并且整個芯片運算所占的面積比重也很少。

高性能運算的一個極端情況是全硬件并行實現，對于10點的點積運算運用多個MAC并行計算；所以計算速度快但是面積消耗也很大。

1.2 AI要求芯片具有靈活性

AI算法以CNN、RNN等為主干，分支眾多；同樣的算法體制，其具體參數（層數、寬度等）也不一樣；AI算法本身在不斷的演進；AI算法優化的一個方向是稀疏矩陣處理、低運算精度實現高精度類似的性能。

然而，芯片設計的投入高、周期長、風險高；要讓芯片開發能夠應對算法多樣化和快速演進的挑戰，需要一款芯片能夠應對不同類型的應用需求，這對于芯片的靈活性提出挑戰。

1.3 AI芯片設計跨越算法和軟硬件

鑒于上面的兩個挑戰，AI芯片設計從算法開始，經歷架構設計、邏輯設計和驗證、物理設計和驗證。對于芯片開發和應用方法，乃至處理器架構和編程提出了挑戰。

2. AI芯片開發挑戰、現狀和趨勢

2.1 基于算法框架實現算法和芯片設計的接口

AI芯片的涉及到算法、軟件、硬件三個專業方向，為了有效的分工和協作、實現相互之間的可移植性，界面的劃分和定義很重要。

應用層面見到的無非是訓練和測試數據，模型選擇和基本參數，理想情況下解決方案可以自動有效完成訓練和預測，正如當今沒有體系結構和編程語言基礎的的用戶可以快速掌握和使用office軟件。而下層實現當今深度學習的主流算法，并且具有一定的可配置性和可調試性。這部分在業界有多個算法框架，典型的如谷歌的TensorFlow、亞馬遜的cafee等，也有在這些框架之上構建的封裝更好的平臺如Keras。

框架的相互交互和底層實現多種多樣，平臺不同實現方案也不同。一個有益的工作是定義中間層格式（IR），IR的一個重要基礎是核心算子。這里有ONNX、NNVM等。

2.2 AI芯片架構

前文提到，AI芯片密集型運算和可編程性的要求，普通處理器不能夠有效應對，需要大規模并行計算。

FPGA和GPU相對于普通的CPU和DSP更加折中實現并行性和可編程性。然而，FPGA核心是LUT，實現相同功能所需的器件面積遠大于ASIC，同時運行頻率受限。GPU是傳統技術中最適合可編程并行運算的，但是GPU本質上是為了圖像處理構建，架構與通用并行計算仍然有不少的距離；雖然GPGPU針對通用計算做了一些優化，但是仍然有不少的差距。

通用可編程并行計算最適合的是流處理器和可重構處理器。早些年在尋求突破傳統處理瓶頸的時代不少學術和產業界項目做過嘗試，但是當時對于高性能計算的要求并不普遍、不迫切所以沒有有效的發展。隨著AI對于計算的需求，這些技術正如深入學習算法走上算法舞臺一樣，走向架構設計舞臺。

具體來說，很多原本只是探索的技術會走上AI架構設計的舞臺，傳統的程序優化技術會普遍應用的架構設計。如深度流水、并行計算、數據局部性原理相關的局部存儲、延時隱藏、循環展開等。后面會有專門的文章介紹。

2.3 層次化實現和驗證

AI芯片的大規模和并行特點，導致AI芯片的設計復雜并且有很大難度：展平式尋優策略在計算機算法上是NP問題，芯片設計每個流程的運行時間也很長，因而短時間找到最優方案并實現極具挑戰，所以需要使用分治策略分層實現，以尋求現實的次優解。

分層體現在系統設計的處理單元（processing elements）-簇（cluster）-子系統-SoC芯片；體現在結構設計關注關鍵參數-邏輯設計關注微架構和周期一級-后端設計關注具體頻率sign-off，不同的階段有不同的關注點，通過上層設計明確關鍵參數，逐步往下漸進明細。相應的驗證也是如此，通常架構設計明確主要參數和主體運算周期，邏輯設計除了關注具體時序，很多的是保證與算法設計bit對準來驗證行為，而后端驗證主要關注微架構的時序是否能夠實現。

這方面主要是開發流程的規劃和整合，不同的IP供應商會提供C++/SystemC模型供架構設計仿真，仿真平臺有純SystemC，也有Synopsys PA（集成了不少常用模型和系統構建調試機制）

2.4 算法和軟硬件協同設計

傳統芯片頂層設計中軟硬件劃分是一個重要主題。而AI芯片設計還需要關注算法，比如：卷積核的運算需求，數據存儲和傳輸需求；卷積核的運算協作和數據交互需求等。以及引言部分提到的利用低精度運算實現類似高精度運算的算法精度，利用矩陣稀疏性簡化運算同時保證算法性能等。這些優化本質上源于算法，但是需要芯片設計配合，但其在架構及優化對整個芯片PPA的優化立竿見影。對于熟悉傳統芯片設計流程的芯片團隊式巨大的挑戰。

這里主要是算法優化方案在算法和模型層面，涉及到C/Python/SystemC。

2.5 應用開發工具鏈

AI芯片的大規模和并行特點，導致AI芯片的開發也極具挑戰。以編譯器為例，運算單元或者cluster內部涉及到并行編譯和調度；整個算法在芯片上的實現也是很難展平開發，更多的是運算單元或者cluster為單位，根據數據流特征進行劃分和映射，以及相應的通信和存儲配備設計進行分治處理。

本質上當今的算法描述語言C/Python只描述算法的邏輯功能，不具備時空信息，不具備存儲和傳輸信息，所以很多算法是先經過同時熟悉芯片架構和算法的工程師的規劃，再通過工具鏈預定的指令指示工具鏈處理。這方面通用意義上有StreamC/KernalC，產業界NVIDIA的CUDA針對其GPU比較成功，谷歌針對TensorFlow的XLA，華盛頓大學針對GPU的TVM。更為普遍的使用LLVM的開放型構建自己的工具鏈。但目前工具鏈的自動化和性能與實際要求差別較大，很多大規模案例會有工具鏈和手工優化結合，方案供應商多以SDK形式提供，不同的應用提供不同的SDK，且SDK的版本不斷更新。

大規模并行計算的調試和跟蹤也是一個挑戰，傳統意義上的單步調試需要協調不同處理器核心之前的狀態；而跟蹤除了核間協調還需要dump大量的實時運行數據，這需要占用大量的片上帶寬和芯片接口資源，還涉及到數據壓縮和可視化。這方面比較典型的是UltraSoC。

2.6 產業格局

算法設計、芯片設計、應用設計、系統方案供應商、應用方案供應商、具體企業和個人用戶是AI潮流的相關者。但是由于產業尚在迅速發展，尚未成熟，尚不能形成明確的的專業分工。并且一體化設計和應用也是不同方案差異化競爭力的體現，是構建技術壁壘的一種重要途徑。

在這種環境下，AI的從業者大體可以分為供應商、用戶、供應商和用戶三種。前者主要是傳統的芯片設計公司如英特爾、華為和新興獨角獸公司。后者主要是大的互聯網公司，他們是AI的企業用戶主體，由于業務體量的需求開始逐步構建自己的AI芯片方案，如谷歌、BAT等。中間的是中小用戶，需要并認可AI的價值，但尚不具備構建AI芯片和全棧方案的資金和技術實力，需要依附專門的AI公司，或者在互聯網公司的云端方案構建自己的方案。

接觸到的行業前后兩類的公司差別很大，傳統的芯片設計公司具有很強的IC設計開發能力，但是不能夠很好地理解AI應用，因而設計的芯片針對性欠缺；同時由于過多的傳統芯片設計包袱，不能夠果斷地擁抱新的芯片設計架構和方法學。互聯網公司的芯片設計團隊芯片設計能力略有欠缺，但是可以很好的理解應用，擁抱新的架構和方法學；另外，由于目前AI尚不能明確分工的特點，互聯網公司的芯片設計和應用可以有效協作，填補設計流程上不能自動化的挑戰，盡早實現AI芯片的價值，即使設計可能不是很優秀。所以，哪一派最終能夠勝出尚不明了。
? ? ? ?責任編輯：tzh