2019云棲大會已經揭開了帷幕，就在9月25日，阿里巴巴集團首席技術官兼阿里云智能總裁、達摩院院長張建鋒發表了題為《構建數字經濟基礎設施》的演講。在演講中，張建鋒重磅推出AI推理芯片含光800，引發了眾多關于它的討論。

近年來科技熱潮一波接著一波。從物聯網到可穿戴電子、從人工智能到5G，它們推進了國家的科技發展路徑，與其同時也催生出了一大批創新公司：比如專精于安防的曠視科技、專精于視頻的極鏈科技等等。其中的人工智能（AI）便曾在1950年代、1980年代先后熱議過，并因多項技術限制與過度期許而回復平淡。而到了2016年，它又隨著云端資料的增長和影音辨識的需求，再次進入了公眾的視野。

分析AI推理芯片，自然要從人工智能說起。人工智能的運用一般分為兩個階段，即開發與執行，這也與其他大部分應用程序相類似。在實際投入運行前，人工智能需要進行學習與訓練，借助大量繁復的運算來使模型獲得更佳的參數調整數據，對運算的精準度、細膩度要求都相對較高；而在執行階段，由于模型已經訓練完成，所以不再需要龐大的運算量，再加上效率的考量，往往會采用較低的運算精度。也就是說，在這兩個階段，所需要的芯片能力其實是有所差異的。

目前人類要實現人工智能，只能靠芯片，別無選擇。但是現有的CPU、GPU、FPGA等芯片的基本架構早在這次人工智能突破之前就已經存在了，并非為人工智能而專門設計，因此它們并不能完美地承擔實現人工智能的任務。人工智能專家MichaelI.Jordan也認為，我們今天所做的還不能算是真正的AI，而只是利用技術來增強一部分的智能而已，也就是所謂的IA（IntelligenceAugmentation：增強智能）。

所以近年來，人們已經開始普遍使用CPU之外的芯片來加速，例如GPGPU、FPGA、ASIC等，特別是GPGPU為多，原因在于GPGPU的高階軟體生態較為完備、可支援多種人工智能框架。相對的，FPGA需要熟悉低階硬體電路者方能開發，而ASIC通常只針對限定的軟體或框架最佳化。雖然FPGA與ASIC較有難度與限制，但仍有科技大廠愿意投入，如Microsoft即主張用FPGA執行人工智能運算，Google則針對TensorFlow人工智能框架開發ASIC，即CloudTPU芯片。

阿里此次推出的含光800，在業界標準的ResNet-50測試中推理性能達到78563IPS，比目前業界最好的AI芯片性能高4倍；能效比500IPS/W，是第二名的3.3倍。在杭州城市大腦的業務測試中，一顆含光800的算力相當于十顆GPU。這固然令人驚喜，但更重要的是，平頭哥團隊在過去一年中不斷探索芯片與場景的融合，如對算力需求較大的圖像視頻分析、搜索、推薦等業務場景。圍繞這一目標，平頭哥針對場景深度定制了芯片的軟硬件，例如自研了架構、軟件編譯器、框架、工具鏈等，如先后發布的玄鐵910、無劍SoC平臺，后期也針對INT數據類型做了大量優化。這說明中國的AI推理芯片不再滿足于IA，而是試圖往真正的AI靠攏。

在推理芯片市場之外，人工智能的訓練芯片市場也值得觀察。由于人工智能應用的開發、訓練、參數調整等工作并非時時在進行，通常在歷經一段時間的密集開發訓練后回歸平淡，直到下一次修改調整才再次進入密集運算。因此，企業若為了人工智能應用的開發訓練購置大量的伺服器等運算力，每次訓練完成后，大量的伺服器將閑置無用，直到下一次參數調整、密集訓練時才能再次顯現價值。鑒于此，許多企業傾向將密集訓練的運算工作交付給云端服務供應商，依據使用的運算量、運算時間付費，而不是自行購置與維護龐大運算系統。這也應該是阿里只售賣基于含光800的阿里云服務，而非芯片本身的原因之一。

目前推理芯片市場的主流想法依然是在規格上做文章，而清華大學微電子研究所所長魏少軍教授則認為這是完全錯誤的思路，“差異化并不是靠規格設計出來的，這樣設計出來的差異化只存在于產品產出的那一段時間，之后就無法更改。別人追上來，差異化越來越小，你的產品便出局。”

所以說，如何讓推理芯片真正的具有智慧，才是我們當前需要思考的。如果只是單純的推進芯片的速度，收效只會越來越小。含光800已經踏出了創新的第一步，可剩下的過程，依舊漫長。