Transformer 的缩放因子为什么需要开平方根

目录

一、防止过大的注意力分数导致 softmax 函数饱和

二、 维度校正

三、保持方差稳定

---

在 Transformer 模型中，缩放因子（scaling factor）特别设计用于调整注意力分数（attention scores），它通常是键向量维度 的平方根。这一做法主要是出于以下几个原因：

一、防止过大的注意力分数导致 softmax 函数饱和

在 Transformer 的注意力机制中，每个查询向量（query vector）与所有键向量（key vectors）进行点积运算，得到的结果被称为注意力分数或未归一化的权重。这些分数随后会通过 softmax 函数转换成概率分布，用于加权求和值向量（value vectors）。如果没有缩放因子，随着向量维度 的增加，点积的结果也会增大，这可能导致 softmax 函数输入值过大，其输出接近于 1 或 0，这会导致梯度接近于 0（即梯度消失），影响模型的学习能力。

二、 维度校正

对于高维空间中的向量，它们的点积可能自然地就比较大，而我们希望点积的结果能够反映的是向量之间的相似性而不是维度大小的影响。如果两个向量在高维空间中恰好方向相同，它们的点积会很大，即使它们本身并不“特别”相似。通过除以 ，我们可以校正这种效应，使点积结果的尺度更加合理，从而更好地反映向量间的实际相似性。

三、保持方差稳定

在初始化权重矩阵时，期望得到的点积结果具有稳定的方差。如果直接使用点积结果，则随着维度增加，方差可能会变得过大。通过引入缩放因子，可以在一定程度上保证初始化后的点积结果方差相对稳定，有助于训练过程中的收敛。

从统计学的角度来看，如果假定查询向量和键向量都是从标准正态分布中抽取的，那么它们的内积的方差将是 。为了使这个内积的方差为 1（即标准化），我们需要将其除以 。

总结来说，缩放因子  的作用在于：

• 确保数值上的稳定性，避免 softmax 函数过早饱和。
• 保持注意力分数的方差一致，不受向量维度变化的影响。
• 改善初始化时的数值状况，帮助模型更快地收敛。

这些措施都有助于提高 Transformer 模型训练的稳定性和效率。