wordpress msn space,云浮seo,网站空间不续费,国内市场调研公司下面通过举个例子来说明Batch Normalization的原理#xff0c;我们假设在网络中间经过某些卷积操作之后的输出的feature map的尺寸为4322#xff0c;4为batch的大小#xff0c;3为channel的数目#xff0c;22为feature map的长宽
整个BN层的运算过程如下图#xff1a; 上…下面通过举个例子来说明Batch Normalization的原理我们假设在网络中间经过某些卷积操作之后的输出的feature map的尺寸为4×3×2×24为batch的大小3为channel的数目2×2为feature map的长宽
整个BN层的运算过程如下图 上图中batch size一共是4, 对于每一个batch的feature map的size是3×2×2
对于所有batch中的同一个channel的元素进行求均值与方差比如上图对于所有的batch都拿出来最后一个channel一共有4×2×216个元素
然后求区这16个元素的均值与方差。求取完了均值与方差之后对于这16个元素中的每个元素进行减去求取得到的均值并除以方差然后乘以gamma加上beta公式如下 因为求取的均值与方差是对于所有batch中的同一个channel进行求取batch normalization中的batch体现在这个地方
在pytorch求取batch normalization的函数是nn.BatchNorm2d()其传入参数是channels数例如上面的例子中
nn.BatchNorm2d(3)
