Datawhale X 李宏毅苹果书AI夏令营 学习笔记
学习日志
日期： 2024年9月3日
今日学习内容：
今天，我深入学习了深度学习中的几种重要概念，包括优化算法、特征归一化、以及批量归一化的原理和应用。这次学习的内容涵盖了从基础的梯度下降法到更高级的优化技术，同时还探讨了如何通过特征归一化和批量归一化来加速模型训练并提高训练稳定性。以下是今天学习的详细总结：
1. 深度学习中的优化算法
我在学习中首先回顾了梯度下降法（Gradient Descent），这是深度学习中最基础的优化算法。通过迭代调整参数，使得损失函数逐步减小，梯度下降法可以帮助模型找到最优的参数组合。然而，传统的梯度下降法在面对复杂的误差表面时，可能会陷入局部最小值或收敛速度较慢。
为了克服这些不足，动量法（Momentum）、RMSProp 和 Adam 这些更高级的优化算法被引入：
-
动量法：
-
通过在参数更新时加入之前更新方向的“动量”，使得模型能够更快地朝着全局最优解的方向前进。动量法能够帮助模型在梯度较小的区域加速，并在梯度变化较大时减速，从而避免震荡。
-
RMSProp：
-
该算法通过计算每个参数的均方根（RMS）来动态调整学习率，使得在误差表面陡峭的地方步伐变小，平坦的地方步伐变大，从而加快收敛并减少震荡。RMSProp 的出现解决了 Adagrad 在训练后期学习率衰减过快的问题，使得模型能够在训练后期仍然保持较好的学习能力。
-
Adam：
-
这是目前最常用的优化器之一，它结合了动量法和 RMSProp 的优点。Adam 能够根据每个参数的历史梯度信息自适应调整学习率，同时保留了动量的优点，使得模型在训练时具有更强的鲁棒性和更快的收敛速度。
-
2. 特征归一化与深度学习的关系
在深度学习中，特征归一化是一种常见的预处理步骤，可以帮助模型更快地收敛，并提高训练的稳定性。特征归一化的基本思路是将输入数据的分布调整为均值为 0，方差为 1 的标准正态分布。这样处理后的数据在进行梯度下降时，模型能够更稳定、更快速地收敛到最优解。
通过对特征进行归一化处理，模型的每一层计算出来的激活值 z 也需要进行归一化处理，以确保后续的计算过程更加平滑。具体来说：
- 在使用 sigmoid 激活函数时，z 的归一化能够将输入调整到 0 附近，从而使得 sigmoid 的斜率最大，进而提高梯度的计算效果。
- 而在使用 ReLU 激活函数时，对 a 的归一化也能起到类似的作用，确保网络在训练过程中更加稳定。
3. 批量归一化（Batch Normalization）
批量归一化是今天学习中的一个重要主题。批量归一化在深度学习中被广泛应用，它通过在每一层神经网络的激活函数之前或之后对数据进行归一化处理，来解决训练过程中出现的内部协变量偏移问题。
批量归一化的实现原理：
- 在训练过程中，对于每一个批量的数据，计算它们的均值 µ 和标准差 σ，然后用这些统计量对该批量的数据进行归一化处理。这样一来，网络的每一层在进行训练时，其输入的分布会保持相对稳定，从而加快模型的收敛速度。
- 在归一化之后，加入可学习的参数 γ 和 β，以确保网络的灵活性，使得在训练过程中能够恢复出不同的分布。尽管批量归一化能够有效地提高模型的训练速度，但在实际应用中需要谨慎选择批量大小，以确保 µ 和 σ 的计算准确性。
批量归一化在测试阶段的应用：
- 在测试时，由于无法获得完整的批量数据，因此批量归一化采用移动平均的方式，将训练时多个批量的 µ 和 σ 计算出来的平均值作为测试时的 µ 和 σ。这种方式确保了测试时数据的稳定性，并且不需要再进行实时的 µ 和 σ 计算。
批量归一化的优势：
- 批量归一化的主要优势在于它能够加快训练速度，使得模型能够在更短的时间内达到相同的精度。此外，批量归一化还能使得模型在使用较大学习率时保持稳定性，从而避免梯度爆炸的问题。
关于批量归一化的实验与反思：
- 虽然批量归一化能够有效地提高训练效果，但其提出的“内部协变量偏移”概念却在后续的研究中受到了质疑。最新的研究表明，批量归一化可能并非如原始论文所述，通过解决内部协变量偏移来提高训练效果，而是通过其他机制如平滑误差表面来实现这一点。这表明，尽管批量归一化是深度学习中的一个重要突破，但我们仍然需要继续探索其背后的深层次原理。
4. 总结与展望
今天的学习内容帮助我更全面地理解了深度学习中的优化技术与特征处理方法。通过对动量法、RMSProp、Adam 以及批量归一化等技术的学习，我深刻体会到这些方法在加速模型训练、提高训练稳定性方面的重要性。
在未来的学习中，我计划继续研究深度学习中的其他优化技术和归一化方法，如层归一化（Layer Normalization）、实例归一化（Instance Normalization）等，以进一步提升对深度学习模型的理解与应用能力。我还计划在实际项目中应用这些技术，验证它们在不同任务中的效果和优势。