范数，L2范数标准化，及其用法和意义
起因：Seurat:::FindModalityWeights() 函数用到L2标准化。
1. 范数
- L1 norm就是绝对值相加，又称曼哈顿距离
- L2 norm就是欧几里德距离，几个数字的平方和的开方。
2. L2范数标准化
(1) L2范数定义
L2范数（L2 norm），也称为欧几里德范数（Euclidean norm）或2-范数，是向量元素的平方和的平方根。它在数学和机器学习中经常被用作一种正则化项、距离度量或误差度量。
对于一个n维向量x = [x1, x2, …, xn]，其L2范数可以通过以下公式计算：
||x||2 = sqrt(x1^2 + x2^2 + ... + xn^2)
(2) 矩阵L2范数标准化（R语言实现）
函数定义见： seurat-4.4.0/R/utilities.R:1720:L2Norm <- function(mat, MARGIN = 1)
# L2 normalize the columns (or rows) of a given matrix | 对矩阵的列（或行）做L2标准化
# @param mat Matrix to cosine normalize | 将要做cosine标准化的矩阵
# @param MARGIN Perform normalization over rows (1) or columns (2) | 默认对行做标准化
#
# @return returns l2-normalized matrix
#
L2Norm <- function(mat, MARGIN = 1){normalized <- Sweep(x = mat,MARGIN = MARGIN, #默认，按行。除以每一行的STATS = apply( # 行：平方和的开方X = mat,MARGIN = MARGIN,FUN = function(x){sqrt(x = sum(x ^ 2))}),FUN = "/")# 无穷大都改写为0： 除数是0导致无穷大，这一行全是0导致的normalized[!is.finite(x = normalized)] <- 0return(normalized)
}
(3) 手工实现：不考虑全是0的行
# 手工实现
tmp1=sweep(embeddings.list$pca,MARGIN = 1, STATS = apply(embeddings.list$pca, 1, function(x){sqrt( sum(x**2) )}),FUN = "/"
)
# 调用函数
tmp2 = Seurat:::L2Norm(embeddings.list$pca)all(abs(tmp1-tmp2)<1e-10) #T
tmp1[1:3, 1:4]
tmp2[1:3, 1:4]
# PC_1 PC_2 PC_3 PC_4
#AAACCTGAGACTCGGA-1 0.03717500 -0.7241838 0.16534230 0.06183454
#AAACCTGAGAGTACAT-1 0.02301086 -0.7453045 0.05282587 0.04039307
#AAACCTGAGATATACG-1 -0.05451243 -0.7092048 -0.01946849 -0.02317811
(4) L2标准化的意义
问题：输入是行为cell id，列为 PC_1 的cell embedding 矩阵，为什么对行做标准化？
我的解释：保证每一行的平方和都是1，也就是每个cell都在距原点单位1半径的球面上。
在机器学习中，L2范数经常用于模型正则化和特征归一化。通过在损失函数中添加L2范数的正则化项，可以降低模型的复杂度，避免过拟合。另外，L2范数还常用于计算向量之间的欧氏距离，用于衡量向量之间的相似性或差异性。
Ref
- [1] https://blog.sina.com.cn/s/blog_71dad3ef010146c3.html
- https://developer.aliyun.com/article/1316675
- https://blog.csdn.net/weixin_43862398/article/details/137044386