Max Pooling算子的定義

池化層在深度學(xué)習(xí)網(wǎng)絡(luò)中的作用一般是用來緩解卷積層對(duì)位置的過度敏感性。池化層每次對(duì)輸入數(shù)據(jù)的一個(gè)固定形狀窗口(池化窗口的大小為pooling height, pooling width)中的元素計(jì)算輸出，池化層直接計(jì)算池化窗口內(nèi)元素的最大值或者平均值，因此該運(yùn)算也分別叫做最大池化或平均池化。

在我們本節(jié)課要講的二維最大池化中，池化窗口從輸入數(shù)組的最左上方開始，按從左往右、從上往下的順序，依次在輸入數(shù)組上滑動(dòng)(滑動(dòng)的幅度被稱為stride)。當(dāng)池化窗口滑動(dòng)到某一位置時(shí)，窗口中的輸入子數(shù)組的最大值即輸出數(shù)組中相應(yīng)位置的元素。

圖1展示了池化窗口形狀為 2×2 的最大池化，陰影部分為第一個(gè)輸出元素及其計(jì)算所使用的輸入元素。

輸出數(shù)組的高和寬分別為2，其中的4個(gè)元素由取最大值運(yùn)算 max 得出。 如下公式所示，池化操作的步驟依次為從左到右，從上到下，每次向下移動(dòng)的步長(zhǎng)為stride height, 向右移動(dòng)的步長(zhǎng)為stride width. 進(jìn)行池化操作元素的數(shù)量由pooling height和pooling width所組成的2×2的窗口所決定。

Max Pooling Operator的實(shí)現(xiàn)

classMaxPoolingOp:publicOperator{
public:
explicitMaxPoolingOp(uint32_tpooling_h,uint32_tpooling_w,uint32_tstride_h,
uint32_tstride_w,uint32_tpadding_h,uint32_tpadding_w);

voidset_pooling_h(uint32_tpooling_height);
voidset_pooling_w(uint32_tpooling_width);

voidset_stride_w(uint32_tstride_width);
voidset_stride_h(uint32_tstride_height);

voidset_padding_h(uint32_tpadding_height);
voidset_padding_w(uint32_tpadding_width);

uint32_tpadding_height()const;
uint32_tpadding_width()const;

uint32_tstride_width()const;
uint32_tstride_height()const;

uint32_tpooling_height()const;
uint32_tpooling_width()const;
private:
uint32_tpooling_h_;//池化核高度大小
uint32_tpooling_w_;//池化核寬度大小
uint32_tstride_h_;//高度上的步長(zhǎng)
uint32_tstride_w_;//寬度上的步長(zhǎng)
uint32_tpadding_h_;//高度上的填充
uint32_tpadding_w_;//寬度上的填充
};

可以看到如上的Operator中,有6個(gè)類內(nèi)屬性，分別對(duì)應(yīng)著我們第一節(jié)中講過的步長(zhǎng)(stride), 池化核(pooling)以及在池化前對(duì)邊緣的擴(kuò)充，以下我們?cè)诜謩e講講：

stride: 池化核每次移動(dòng)的步長(zhǎng)

pooling: 池化核的大小

padding: 對(duì)輸入特征圖的邊緣擴(kuò)充

如下圖2是pad(padding值為1)后輸入特征圖的池化操作(池化核為2):

Max Pooling Layer的實(shí)現(xiàn)

MaxPoolingLayer::MaxPoolingLayer(conststd::shared_ptr&op):Layer("maxpooling"){
CHECK(op->op_type_==OpType::kOperatorMaxPooling)<op_type_);
MaxPoolingOp*max_pooling_op=dynamic_cast(op.get());

CHECK(max_pooling_op!=nullptr)<op_=std::make_unique(*max_pooling_op);
}

voidMaxPoolingLayer::Forwards(conststd::vector>>&inputs,
std::vector>>&outputs){
CHECK(this->op_!=nullptr);
CHECK(this->op_->op_type_==OpType::kOperatorMaxPooling);
CHECK(!inputs.empty());
constuint32_tpadding_h=this->op_->padding_height();
constuint32_tpadding_w=this->op_->padding_width();
constuint32_tkernel_h=this->op_->pooling_height();
constuint32_tkernel_w=this->op_->pooling_width();
constuint32_tstride_h=this->op_->stride_height();
constuint32_tstride_w=this->op_->stride_width();

constuint32_tbatch_size=inputs.size();
for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());
constuint32_tinput_h=input_data_->rows();
constuint32_tinput_w=input_data_->cols();
constuint32_tinput_c=input_data_->channels();
constuint32_toutput_c=input_c;

constuint32_toutput_h=uint32_t(std::floor((input_h-kernel_h)/stride_h+1));
constuint32_toutput_w=uint32_t(std::floor((input_w-kernel_w)/stride_w+1));
CHECK(output_w>0&&output_h>0);

std::shared_ptr>output_data=std::make_shared>(output_c,output_h,output_w);
for(uint32_tic=0;icat(ic);
arma::fmat&output_channel=output_data->at(ic);
for(uint32_tr=0;rMaxPoolingLayer::CreateInstance(conststd::shared_ptr&op){
CHECK(op->op_type_==OpType::kOperatorMaxPooling);
std::shared_ptrmax_layer=std::make_sh了ared(op);
returnmax_layer;
}

LayerRegistererWrapperkMaxPoolingLayer(OpType::kOperatorMaxPooling,MaxPoolingLayer::CreateInstance);

voidMaxPoolingLayer::Forwards(conststd::vector>>&inputs,
std::vector>>&outputs){
CHECK(this->op_!=nullptr);
CHECK(this->op_->op_type_==OpType::kOperatorMaxPooling);
CHECK(!inputs.empty());
}

我們重點(diǎn)來看Forwards函數(shù), 首先判斷輸入是否為空并獲得池化操作相關(guān)的屬性值(原本存放在op中).

計(jì)算池化后的輸出特征圖大小, 公式為：

for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());

如上的過程表示對(duì)輸入的特征圖四周進(jìn)行填充，填充的大小由于padding_w和padding_h決定。這兩個(gè)Layer計(jì)算時(shí)候的屬性由op中得到，也就是說padding_w和padding_h存放在this->op中， this->op_ = std::make_unique(*max_pooling_op);

for(uint32_ti=0;i>&input_data_=inputs.at(i)->Clone();
input_data_->Padding({padding_h,padding_h,padding_w,padding_w},std::numeric_limits::lowest());
constuint32_tinput_h=input_data_->rows();
constuint32_tinput_w=input_data_->cols();
constuint32_tinput_c=input_data_->channels();
constuint32_toutput_c=input_c;

constuint32_toutput_h=uint32_t(std::floor((input_h-kernel_h)/stride_h+1));
constuint32_toutput_w=uint32_t(std::floor((input_w-kernel_w)/stride_w+1));
CHECK(output_w>0&&output_h>0);

如上的過程表示根據(jù)輸入的特征圖大小input_h和input_w來計(jì)算對(duì)應(yīng)的輸出特征值大小output_h和output_w. 計(jì)算的公式如上文所示。如果輸入的特征數(shù)據(jù)input_data_有填充，則根據(jù)填充數(shù)據(jù)的輸入大小來計(jì)算對(duì)應(yīng)的輸出大小。

for(uint32_ti=0;iat(ic);
arma::fmat&output_channel=output_data->at(ic);
for(uint32_tr=0;r

	

	for(uint32_t ic =0; ic < input_c;++ic) 表示對(duì)輸入的特征圖進(jìn)行逐通道的池化操作, 設(shè)當(dāng)前進(jìn)行操作的輸入特征圖通道為input_channel, 池化后的輸出特征圖放置于output_channel中。池化的過程如下公式所描述：

	

	在上述的代碼中region表示當(dāng)前輸入特征數(shù)據(jù)需要進(jìn)行池化的部分，對(duì)應(yīng)于公式中[r:r+kernel height -1,c:c+kernel width -1]

	中的數(shù)據(jù)。輸入特征的數(shù)據(jù)是逐個(gè)通道進(jìn)行處理（池化操作）的，從ic = 0到ic = input_channel - 1, 當(dāng)前池化的數(shù)據(jù)保存在region中。

	input_channel.submat(r, c, r + kernel_h -1, c + kernel_w -1)取得一個(gè)池化區(qū)域內(nèi)的所有元素，隨后使用region.max()取得區(qū)域內(nèi)(kernel_h和kernel_w組成的范圍)的最大值, 并且每次區(qū)域移動(dòng)的位置是stride_h和stride_w, 取得最大值后存放在輸出特征圖中對(duì)應(yīng)的位置中，輸出存放的位置為輸出特征圖outut_channel的(int(r/stride_h),int(c/stride_w))的位置中。這部分可能描述地比較晦澀，請(qǐng)結(jié)合視頻一起食用。

	Max Pooling Layer的其他部分

	
MaxPoolingLayer::MaxPoolingLayer(conststd::shared_ptr&op):Layer("maxpooling"){
CHECK(op->op_type_==OpType::kOperatorMaxPooling)<op_type_);
MaxPoolingOp*max_pooling_op=dynamic_cast(op.get());

CHECK(max_pooling_op!=nullptr)<op_=std::make_unique(*max_pooling_op);
}

LayerRegistererWrapperkMaxPoolingLayer(OpType::kOperatorMaxPooling,MaxPoolingLayer::CreateInstance);


	

	以上的步驟完成了Max Pooling層的注冊(cè), 具體流程已經(jīng)在第五節(jié)中講過。MaxPoolingLayer::MaxPoolingLayer初始化部分根據(jù)傳入的op對(duì)this->op_進(jìn)行賦值，this->op_中保存了stride,padding,pooling等計(jì)算時(shí)需要的屬性信息。

	單元測(cè)試

	
TEST(test_layer,forward_maxpooling1){
usingnamespacekuiper_infer;
uint32_tstride_h=1;
uint32_tstride_w=1;
uint32_tpadding_h=0;
uint32_tpadding_w=0;
uint32_tpooling_h=2;
uint32_tpooling_w=2;

std::shared_ptr
max_op=std::make_shared(pooling_h,pooling_w,stride_h,stride_w,padding_h,padding_w);
std::shared_ptrmax_layer=LayerRegisterer::CreateLayer(max_op);
CHECK(max_layer!=nullptr);

arma::fmatinput_data="012;"
"345;"
"678;";
std::shared_ptr>input=std::make_shared>(2,input_data.n_rows,input_data.n_cols);
input->at(0)=input_data;
input->at(1)=input_data;

std::vector>>inputs;
std::vector>>outputs;
inputs.push_back(input);

max_layer->Forwards(inputs,outputs);
ASSERT_EQ(outputs.size(),1);
constauto&output=outputs.at(0);
LOG(INFO)<data();
ASSERT_EQ(output->rows(),2);
ASSERT_EQ(output->cols(),2);

ASSERT_EQ(output->at(0,0,0),4);
ASSERT_EQ(output->at(0,0,1),5);
ASSERT_EQ(output->at(0,1,0),7);
ASSERT_EQ(output->at(0,1,1),8);

ASSERT_EQ(output->at(1,0,0),4);
ASSERT_EQ(output->at(1,0,1),5);
ASSERT_EQ(output->at(1,1,0),7);
ASSERT_EQ(output->at(1,1,1),8);
}


	

	可以看到, 我們的輸入為 arma::fmat input_data ="0 1 2 ; 3 4 5 ;6 7 8; " , 池化核的大小為2, 每次移動(dòng)的步長(zhǎng)stride =1,所以根據(jù)我們?cè)诘谝还?jié)中的計(jì)算, 最后的輸出特征圖大小應(yīng)該是2乘2大小, 池化得到的值分別為4 5 7 8.

	

	





	審核編輯：劉清