【动手学计算机视觉】第十三讲：批量归一化
点击蓝字关注我
当我们使用一些波动幅度较大的数据做预测分析时，我们需要对它进行标准化、归一化、滑动窗口等方式做预处理，这样不仅可以提高计算速度，还可以一定程度上提高结果的准确度。这一点在深度神经网络中同样适用，批量归一化(Batch Normalization, BN)就是其中用于数据归一化的一种非常常用的算法，在tensorflow、mxnet这些知名的机器学习框架中都对BN进行了实现，它不仅能够加快训练过程，同时还具备一些正则化功能，对防止过拟合具有一定作用。下面就来详细介绍一下这个算法。 备注：在有些文章中Batch Normalization也有被译作批量标准化
—▼—
前言
这些标准化方法在浅层神经网络中已经足够使用，效果已经很不错。但是在深度学习中，网络越来越深，使用这些标准化方法就难以解决相应的问题。
为什么需要批量归一化？
在训练过程中，每层输入的分布不断的变化，这使得下一层需要不断的去适应新的数据分布，在深度神经网络中，这让训练变得非常复杂而且缓慢。对于这样，往往需要设置更小的学习率、更严格的参数初始化。通过使用批量归一化(Batch Normalization, BN)，在模型的训练过程中利用小批量的均值和方差调整神经网络中间的输出，从而使得各层之间的输出都符合均值、方差相同高斯分布，这样的话会使得数据更加稳定，无论隐藏层的参数如何变化，可以确定的是前一层网络输出数据的均值、方差是已知的、固定的，这样就解决了数据分布不断改变带来的训练缓慢、小学习率等问题。
在哪里使用批量归一化？
批量归一化是卷积神经网络中一个可选单元，如果使用BN能够保证训练速度更快，同时还可以具备一些正则化功能。
在卷积神经网络中卷积层和全连接层都可以使用批量归一化。
对于卷积层，它的位置是在卷积计算之后、激活函数之前。对于全连接层，它是在仿射变换之后，激活函数之前，如下所示：
conv_1 = tf.nn.conv2d()
norm_1 = tf.nn.batch_normalization(conv_1)
relu_1 = tf.nn.relu(norm_1)
pool_1 = tf.nn.max_pool(relu_1)
以卷积层为例，网络架构的流程为：
卷积运算
批量归一化
激活函数
池化
批量归一化
其实批量归一化在思想上和Z-score是有很多共通之处的。
在深度学习训练过程中会选取一个小批量，然后计算小批量数据的均值和方差，
下面看一下原文中批量归一化的算法步骤：
获取每次训练过程中的样本 就算小批量样本的均值、方差 归一化 拉伸和偏移
tf.nn.batch_normalization(x, mean, variance, offset, scale, variance_epsilon, name=None)
来解释一下函数中参数的含义：
x：输入的数据，可以是卷积层的输出，也可以是全连接层的输出
mean：输出数据的均值
variance：输出数据的方差
offset：偏移，就是前面提到的beta
scale：缩放，前面提到的gamma
variance_epsilon：一个极小的值，避免分母为0
▲
END
长按扫码可关注