Layer Normalization（层归一化）里的可学习的参数
参考pyttorch官方文档：
LayerNorm — PyTorch 2.4 documentation
在深度学习模型中，层归一化（Layer Normalization, 简称LN）是一种常用的技术，用于稳定和加速神经网络的训练。层归一化通过对单个样本内的所有激活进行归一化，使得训练过程更加稳定。
关于层归一化是否可训练，其实层归一化中确实包含可训练的参数。具体来说，层归一化会对激活值进行如下变换：
-
均值和方差的计算：对于给定的输入 （例如一个mini-batch内的数据），计算其均值 μ 和方差 σ2。
-
归一化：将输入 x 归一化到均值为0和方差为1的分布，计算方式为：
其中，ϵ是一个很小的数，防止除数为0。
-
缩放和偏移：这是层归一化中可训练的部分。归一化后的值
会被重新缩放和偏移，使用可训练的参数 γ和 β：
这里，
和
是针对每个神经元分别学习的参数，它们允许模型在归一化后恢复最有用的数据表示。
因此，层归一化是包含可训练参数的，这些参数可以在模型训练过程中学习和更新。这一点与批量归一化（Batch Normalization）相似，后者同样使用了可训练的缩放和偏移参数，但归一化的范围和计算方式有所不同。
通过这些可训练的参数，层归一化不仅能帮助模型控制内部数据的分布，还能适应数据的具体特征，这对于模型的泛化能力和学习效率都是非常重要的。