電子發燒友網>電子資料下載>人工智能>面向TTA架構ASIP設計的深度神經網絡優化論文免費下載

面向TTA架構ASIP設計的深度神經網絡優化論文免費下載

2474220 2019-11-22 | rar | 10.68 MB | 次下載 | 免費

資料介紹

　　近年來，依托電子芯片技術的發展，神經網絡的結構被設計得更深更大，以應對更加復雜和抽象的場景。隨之而來的問題是深府神經網絡在訓練和推理都依托大規模的浮點運算實現，對存儲資源的占用和設備功耗的需求產生了很高的需求。基于傳輸觸發架構（TransportTriggered Architecture，TTA）的專用指令集處理器（ApplicationSpecific Instruction Set Processor，ASIP）既能夠提供專用集成電路級別的高性能和低功耗，又能夠提供處理器級別的指令集靈活性，是解決該問題的途徑之一。

　　量化與加速是深度神經網絡硬件實現時常用的兩項技術，卷積神經網絡是最有代表性和最通用的深度神經網絡。本文的主要工作即圍繞這兩項技術，進行面向TTA架構ASIP設計的卷積神經網絡的優化，具體內容包含以下兩個部分：

　　其一，本文針對基于TTA架構的神經網絡ASIP的需求，提出了一套端到端完整的8比特量化方案。該方案結合權重、激活值和梯度的各自特點，為它們制定了相應的量化策略，包括了對稱仿射的權重量化、帶動態上限的激活值量化、變精度的梯度量化以及一種近似的批量歸一化算法。在多數據集、多模型結構的實驗中，該方案都取得了與全精度網絡相當的精度，領先于部分當下常用的量化方案。

　　其二，本文將查找表資源融入到卷積運算中，提出了一種基于乘法結合律的卷積運算的加速方案。該方案針對面向TTA架構的量化卷積功能單元，提供了符合量化卷積特性的卷積核分塊、循環展開、數據交換規則，并展示了基于TTA架構的神經網絡加速器的整體結構。對比傳統卷積方案，該方案緩解了有限的乘法器資源對于神經網絡并行計算的限制，在并行度與計算能效比兩方面都有所提升。

　　本文中，量化方案是加速方案的基礎，加速方案是量化方案的補充，二者共同構成了本文的優化工作，為基于TTA架構的深度神經網絡的ASIP實現提供了支持。