總部在加利福尼亞州歐文市的Syntiant公司和總部在德克薩斯州奧斯汀的Mythic公司都認為,它們可以使用嵌入式閃存來大大減少執行深度學習計算所需的電力。它們可能都是對的。
越來越多的公司希望推出加速其他計算繁重的深度學習應用的芯片,并且在某種程度上它們都有相似之處,因為“這些是面向相同形態的一類問題的解決方案”,Mythic創始人兼CTODaveFick解釋說。
當在CPU中執行深度學習計算時,那類問題在形態上就像數據的交通堵塞。神經網絡由連接和表示那些連接有多強的“權重”組成,必須移動這些權重以便它們可以在正確的時間和位置以數字方式被表示,是如今的深度學習中主要的耗能之處。
Syntiant的CEOKurtBush解釋說:“我們的方法是通過在內存中進行計算來完全消除內存帶寬和內存功耗的penalties問題”。
Syntiant和Mythic這兩家公司所采用的方法中,網絡權重實際上是存儲在閃存單元陣列中的電荷水平。電荷改變了流過電池的電流量,電池是以電流可產出至關重要的“乘法和累加”運算的方式排列的,這樣的運算是能從日落中讀出停止信號或從“大灰獅子狗”中讀出“OKGoogle”的網絡所需要的。
因為權重總是在它們需要在的位置,所以不需要花費任何時間或精力來移動它們。計算的模擬性質也使得功耗保持在低水平。雖然訓練神經網絡通常是通過使用相當精確的(8位或16位)數字進行計算來實現的,但實際上,使用經過訓練的網絡(稱為推理)可以更快地完成,并且可以使用更低精度的數字(5位或者甚至3位)作為權重以更低的功耗完成。Busch說:“通過模擬計算,你可以建立低精度但非常非常準確的乘法和累加運算”。
Mythic的目標是每次乘法和累加運算僅消耗0.5焦耳,這將導致每瓦特可支持約4萬億次操作(TOPS/W)。Syntiant希望達到20TOPS/W。根據Syntiant的說法,NvidiaVoltaV100GPU可以達到0.4TOPS/W。然而,Fick指出,在機器學習領域,真正的蘋果對蘋果(apples-to-apples)的比較是很難確定的。
每個創業公司在多大范圍使用模擬電路,是它們之間的關鍵差異。Syntiant的整個網絡都是模擬的,而Mythic環繞著帶有可編程數字電路的模擬閃存陣列。Mythic使用周圍的電路來增加其芯片可以運行的網絡的大小和類型的靈活性。Fick說:“在我們的芯片上,所有的網絡拓撲的運行效率大致相同”。
這種差異也會影響兩家公司的目標客戶和應用程序。在Syntiant,“我們經常說,Mythic百分之百出現在投資會議上,而從不對顧客這樣表現殷勤”,Busch說。兩家公司都表示他們正在尋求增加處在前沿的人工智能領域的客戶。但人工智能是一個寬泛的范疇,包括從自動駕駛汽車到人工智能增強助聽器的所有內容。
Syntiant正在尋求較小的、通常為毫瓦級的電力應用。它的第一個設備將能執行諸如識別喚醒詞和識別說話者之類的事情。
Mythic正在開發需要更復雜網絡的應用程序,這些網絡能夠在具有很低的一位數瓦特功率的系統中處理高分辨率視頻,例如自動無人機和智能手機。Fick說,這些應用程序所需的每秒操作數與Syntiant的那些應用程序所追求的每秒操作數之間存在數量級的差異。
-
智能手機
+關注
關注
66文章
18610瀏覽量
183094 -
嵌入式
+關注
關注
5141文章
19544瀏覽量
315205 -
無人機
+關注
關注
230文章
10743瀏覽量
185622 -
深度學習
+關注
關注
73文章
5555瀏覽量
122500
原文標題:兩家初創公司都使用嵌入式閃存來減少執行深度學習計算所需的電力
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
嵌入式系統中的代碼優化與壓縮技術
LDO在嵌入式系統中的應用 常見LDO故障及解決方法
新手怎么學嵌入式?
嵌入式超火的方向有哪些?
嵌入式學習建議
嵌入式工控機如何使用?嵌入式工控機操作方法及注意事項
什么是嵌入式?一文讀懂嵌入式主板
嵌入式主板是什么意思?嵌入式主板全面解析
嵌入式開發常見問題排查

評論