12个深度学习面试问题

atch Normalization 是训练神经网络模型的一种有效方法。该方法的目标是将特征(每层激活后的输出)归一化为均值为 0，标准差为 1。所以问题在于非零的均值是如何影响模型训练的：

• 首先，可以理解为非零均值是指数据不围绕 0 值分布，但数据中大多数值大于零或小于零。结合高方差问题，数据变得非常大或非常小。这个问题在训练层数很多的神经网络时很常见。特征没有在稳定区间内分布(由小到大)，这将影响网络的优化过程。众所周知，优化神经网络需要使用导数计算。假设一个简单的层计算公式是 y = (Wx + b)， y 对 w 的导数是:dy = dWx。因此，x 的取值直接影响导数的取值(当然，神经网络模型中梯度的概念并不是那么简单，但从理论上讲，x 会影响导数)。因此，如果 x 带来不稳定的变化，其导数可能太大，也可能太小，导致学习模型不稳定。这也意味着当使用 Batch Normalization 时我们可以在训练中使用更高的学习率。
• Batch Normalization 可以避免 x 值经过非线性激活函数后趋于饱和的现象。因此，它确保激活值不会过高或过低。这有助于权重的学习，当不使用时有些权重可能永远无法进行学习，而用了之后，基本上都可以学习到。这有助于我们减少对参数初始值的依赖。
• Batch Normalization 也是一种正则化形式，有助于最小化过拟合。使用 Batch Normalization，我们不需要使用太多的 dropput，这是有意义的，因为我们不需要担心丢失太多的信息，当我们实际使用的时候，仍然建议结合使用这两种技术。

2. 解释 bias 和 Variance 之间的权衡关系

什么是bias?可以理解，bias是当前模型的平均预测与我们需要预测的实际结果之间的差异。一个高 bias 的模型表明它对训练数据的关注较少。这使得模型过于简单，在训练和测试中都没有达到很好的准确性。这种现象也被称为欠拟合。

（编辑：南昌站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!