在對(duì)激活進(jìn)行偽量化前先將激活截?cái)嘣冢?,1）之間, 這樣的做法是基于一些經(jīng)典的網(wǎng)絡(luò)結(jié)構(gòu)中，比如AlexNet與RestNet中，大部分的激活都會(huì)落在這個(gè)范圍里的。

對(duì)于weight，則是先通過(guò)這樣的一個(gè)非線(xiàn)性函數(shù)對(duì)weight進(jìn)行映射，tanh(w)將weight的值域縮放到-1到+1之間，再除以2倍的tanh(w)絕對(duì)最大值加上1/2最終weight被映射到了0到1之間，再對(duì)其進(jìn)行量化與反量化，再將輸出結(jié)果通過(guò)乘2減1仿射變換到-1到1之間。

這里的quant與dequant操作在原論文中是被表示為一個(gè)quantize_k的操作,k指的是k位的量化，其實(shí)本質(zhì)上就和我們之前提到的量化公式相似，就是把1/s替換成了2^k-1。

但DoReFa-Net的這個(gè)方式對(duì)于其它一些activation取值分布較廣的網(wǎng)絡(luò)就顯得有點(diǎn)過(guò)于死板了，所以就有另一個(gè)改進(jìn)版本的算法Parameterized Clipping Activation，PACT針對(duì)activation的偽量化這一部分，將截?cái)嚅T(mén)限alpha設(shè)為可學(xué)習(xí)的參數(shù)，然后通過(guò)梯度下降來(lái)尋找更優(yōu)的門(mén)限。

因?yàn)閍lpha被設(shè)為可學(xué)習(xí)參數(shù)，所以這一部分的導(dǎo)數(shù)就可以由小于alpha的部分為0，大于等于alpha的部分為1。

大家看到PACT的這個(gè)函數(shù)其實(shí)和ReLU很像，對(duì)大于零的部分做一個(gè)截?cái)嗖僮鳎鋵?shí)PACT原本思想也是想要替代ReLU。但問(wèn)題是并非所有的模型結(jié)構(gòu)用的都是ReLU這個(gè)激活函數(shù)，所以為了讓PACT的應(yīng)用范圍更廣，PaddlePaddle也也對(duì)其做了一定的改進(jìn)，對(duì)大于零和小于零的激活值都做了相同的限制，使它能夠在某些情況下得到更好的量化范圍，以降低量化損失。

除此之外，還有一個(gè)常被使用到的算法，Learned Step Size Quantization，與PACT相似的是它也是通過(guò)訓(xùn)練來(lái)確定量化參數(shù)，但不同的是PACT學(xué)習(xí)的是截?cái)嚅T(mén)限，而LSQ直接將Scale定為一個(gè)可學(xué)習(xí)的參數(shù)。

我們先來(lái)看它的計(jì)算公式，這里的r_hat指的就是經(jīng)過(guò)量化與反量化后的數(shù)值，
這其實(shí)就是在對(duì)稱(chēng)量化公式的基礎(chǔ)上加了個(gè)scale，完成了一個(gè)量化與反量化的過(guò)程

因?yàn)槲覀冃枰聪騻鞑ビ?jì)算梯度，所以就要對(duì)這個(gè)公式進(jìn)行求導(dǎo) (加些對(duì)公式的解說(shuō))

對(duì)于這一塊的導(dǎo)數(shù)，LSQ還是采用直通估計(jì)，由此我們就得到了一個(gè)最終的導(dǎo)數(shù)公式；

這里又可以看出，LSQ雖然也采用了直通估計(jì)，但它在截取范圍內(nèi)還是存在梯度計(jì)算的

而且，為了使得Scale的學(xué)習(xí)更為穩(wěn)定，LSQ還為其梯度加上了一個(gè)縮放系數(shù)，這個(gè)系數(shù)主要由tensor中的元素?cái)?shù)量決定

另外，既然是可學(xué)習(xí)參數(shù)，那么就需要為其設(shè)置一個(gè)初始值，PACT中的alpha通常會(huì)被手動(dòng)設(shè)置為常數(shù)值6，而LSQ原文中scale的初始值則由tensor的L1正則確定，不過(guò)在實(shí)踐過(guò)程中，其實(shí)更多的是通過(guò)統(tǒng)計(jì)激活分布，用EMA-minmax, KLD，MSE等PTQ的方式來(lái)計(jì)算初始的scale值。
審核編輯：彭菁