Datawhale AI夏令营第五期【深度学习进阶】深度学习基础

1、神经网络优化失败的原因及解决措施

原因：收敛在局部极限值与鞍点会导致优化失败。
解决措施：

• 可以对学习率进行调整，使用自适应学习率和学习率调度。
• 批量归一化可以改变误差表面，也有助于优化。

1.1 常见概念

局部极小值（local minimum）：梯度为零
鞍点（saddle point）： 梯度是零 且区别于局部极小值和局部极大值（localmaximum）的点
把梯度为零的点统称为临界点（critical point）。损失没有办法再下降，也许是因为收敛在了临界点，但不一定收敛在局部极小值，因为鞍点也是梯度为零的点。

海森矩阵（Hessian matrix：H
若H的所有特征值都是正的，H 为正定矩阵，则 vTHv > 0，临界点是局部极小值。
若 H 的所有特征值都是负的，H 为负定矩阵，则 vTHv < 0，临界点是局部极大值。
若 H 的特征值有正有负，临界点是鞍点。

1.2 逃离鞍点的方法

低维度空间中的局部极小值点，在更高维的空间中，实际是鞍点。