谷歌近日為其Android上的TensorFlow框架開發(fā)了新的基于OpenCL的移動GPU推理引擎,與現(xiàn)有的OpenGL后端相比,新的推理引擎速度是前者的2倍。
OpenGL是一種渲染圖形API,其應(yīng)用已近30年之久,目前常用的GPU推理引擎均是以O(shè)penGL開發(fā)。雖然在?OpenGL?ES?3.1中新增了計算著色器Compute?Shader,但TensorFlow團隊表示,向后兼容的設(shè)計限制了GPU的運算能力。
而OpenCL從一開始就是為使用各種計算加速而設(shè)計的,因此更為適合移動GPU推理領(lǐng)域。這促使TensorFlow團隊對基于OpenCL的移動推理引擎進行了考察,并最終決定采用該引擎。TFLite開發(fā)團隊提到,與OpenGL相比,最佳化OpenCL后端要簡單許多,因為OpenCL提供良好的分析功能,利用概要分析API,開發(fā)團隊能夠精確地量測核心調(diào)度效能。
值得一提的是,這一推理引擎具有完整的效能分析功,也就是說優(yōu)化器會選擇適合大小的神經(jīng)網(wǎng)絡(luò)工作組以提高GPU的效率。且原生支持FP16,即使在比較老舊的GPU硬件上,如2012年的Adreno?305也可完美發(fā)揮出GPU的效能。
責(zé)任編輯:pj
-
谷歌
+關(guān)注
關(guān)注
27文章
6223瀏覽量
107494 -
gpu
+關(guān)注
關(guān)注
28文章
4909瀏覽量
130633 -
硬件
+關(guān)注
關(guān)注
11文章
3459瀏覽量
67179
發(fā)布評論請先 登錄
JAE JB12系列緊湊型以太網(wǎng)防水連接器新增角型插頭

評論