批正则化(batch normalization; BN),理学-统计学-大数据统计分析-深度神经网络-卷积神经网络-批正则化,在人工神经网络中,通过标准化每层之间输入信号的分布来加快收敛速度,提高模型准确率与稳定性的一种算法。词源批正则化是谷歌的研究员C.塞盖迪(Christian Szegedy)和S.约费(Sergey Ioffe)在2015年所发表的论文中提出的算法,用于在人工神经网络中标准化每层之间的输入和输出,从而达到加快收敛速度、提高模型准确率与稳定性的目的。训练深层神经网络是一件很复杂的事,事实上,随着前层参数的变化,层与层之间的输入信号会在训练的过程中发生改变,这种微小的改变会随着层数的加深被放大,这一现象被称为内部协变量偏移(internal covariate shift; ICS)。为了避免出现这种情况,往往会谨慎地设置学习率以及初始化权重,同时由于后面的层总要适应前一层已经发生变化的数据,会导致训练速度下降。在批正则化出现之前,可以解决内部协变量偏移的方法是白化,但是由于白化的计算量巨大且不一定处处可微,所以使用并不广泛。