对偶范数（Dual Norm）

对偶范数（Dual Norm） 是在泛函分析和凸优化中非常重要的概念。它用于衡量向量和线性函数之间的关系，尤其是在优化问题和范数的几何理解中非常有用。

1. 对偶范数的定义

给定一个向量空间 $V$ 和它的范数 $\Vert \cdot \Vert$，对偶范数（Dual Norm）$\Vert \cdot {\Vert }_{\ast }$ 是定义在 $V^{\ast }$（$V$的对偶空间）上的范数，用于度量对偶空间中的元素的大小。对偶空间包含作用在原始空间 $V$ 上的所有线性函数。

对偶范数的定义是：

∥ y ∥ ∗ = sup ⁡ { y T x : ∥ x ∥ ≤ 1 } \|y\|_* = \sup \{ y^T x : \|x\| \leq 1 \} ∥y∥∗​=sup{yTx:∥x∥≤1}

或者更一般地表示为：

$$\Vert y{\Vert }_{\ast }=\sup \{⟨y,x⟩:\Vert x\Vert \le 1\}$$

其中 $⟨y,x⟩$ 表示向量 $y$ 和 $x$ 的内积，$\Vert x\Vert \le 1$ 表示取原空间中所有范数小于等于 1 的向量。对偶范数本质上是在衡量对偶空间中元素 $y$ 作用在原空间中单位“球体”上的最大效果。

2. 常见范数和对偶范数的关系

不同类型的范数有各自的对偶范数，这些关系可以帮助我们更好地理解对偶范数的含义。

• L1 范数和 L∞ 范数：
  • $\Vert x{\Vert }_1={\sum }_{i=1}^n|x_i|$ 的对偶范数是 $\Vert y{\Vert }_{\infty }={\max }_i|y_i|$。
  • 直观上，L1 范数衡量向量元素的绝对值之和，而 L∞ 范数则取向量中最大的元素的绝对值。它们是对偶的，因为在 $L1$ 单位球上的内积最大值由一个元素的极值决定。
• L2 范数：
  • $\Vert x{\Vert }_2=\sqrt{{\sum }_{i=1}^n{x}_i^2}$ 的对偶范数仍然是 $\Vert y{\Vert }_2$，即对偶范数也是 L2 范数。这意味着，欧几里得范数的对偶范数与自身相同。
• L∞ 范数和 L1 范数：
  • $\Vert x{\Vert }_{\infty }={\max }_i|x_i|$ 的对偶范数是 $\Vert y{\Vert }_1={\sum }_{i=1}^n|y_i|$。L∞ 范数衡量向量中最大分量的绝对值，而 L1 范数则衡量所有分量的绝对值之和。二者是对偶的，因为在 $L\infty$ 单位球上的最大内积由所有分量之和决定。

3. 直观理解

对偶范数在几何上与原范数有直接的关系，可以通过下列方式理解：

• 对偶范数度量的是对偶空间中元素（线性函数）作用于原空间中元素的最大效果。
• 对偶范数告诉我们，对一个给定的线性函数，它在原空间中“作用得最强”的方向是什么，以及在单位“球体”上的最大效果是多少。

举个例子，如果你有一个向量空间中的某个“球体”（原范数小于等于 1 的所有向量），对偶范数描述的是，给定一个线性映射（或者对偶空间中的元素），它在这个球体中能获得的最大内积是多少。

4. 示例

例子 1: L1 范数与 L∞ 范数 考虑向量 $x=(1,-2,3)$。计算其 L1 范数：

$$\Vert x{\Vert }_1=|1|+|-2|+|3|=6$$

其对偶范数为 L∞ 范数。假设$y=(2,-1,4)$，则 L∞ 范数为：

∥ y ∥ ∞ = max ⁡ { ∣ 2 ∣ , ∣ − 1 ∣ , ∣ 4 ∣ } = 4 \|y\|_\infty = \max\{|2|, |-1|, |4|\} = 4 ∥y∥∞​=max{∣2∣,∣−1∣,∣4∣}=4

例子 2: L∞ 范数与 L1 范数 考虑向量 $x=(3,-1,2)$。计算其 L∞ 范数：

∥ x ∥ ∞ = max ⁡ { ∣ 3 ∣ , ∣ − 1 ∣ , ∣ 2 ∣ } = 3 \|x\|_\infty = \max\{ |3|, |-1|, |2| \} = 3 ∥x∥∞​=max{∣3∣,∣−1∣,∣2∣}=3

其对偶范数为 L1 范数。假设$y=(1,-1,1)$，则 L1 范数为：

$$\Vert y{\Vert }_1=|1|+|-1|+|1|=3$$

5. 应用场景

• 凸优化：对偶范数用于定义优化问题中的对偶问题。在优化约束中，对偶范数可以用于定义对约束的敏感性和最优性条件。
• 稀疏性和正则化：L1 范数的对偶范数是 L∞ 范数，而 L∞ 范数对信号的影响主要集中在最大值上。这些对偶范数的性质可以用于设计正则化策略，以促进稀疏解或控制最差情况。
• 几何解释：对偶范数的几何解释与支持函数相关，支持函数是凸分析中描述一个集合如何与一个方向相关的最大程度的工具。

6.总结

• 对偶范数定义为线性映射作用于原范数单位球体上的最大值。
• 不同范数之间的对偶关系，例如 $L1$ 和 $L\infty$ 范数之间的对偶关系，帮助我们理解向量的不同度量方法之间的联系。
• 应用广泛：对偶范数在凸优化、正则化技术和几何分析中有重要的应用。