Skip to main content

向量到子空间的距离

向量到子空间的距离是内积空间中的核心几何问题，其答案是最小二乘法的理论基础。

问题的提法​

在欧氏空间 VV 中，给定有限维子空间 WW 和一个向量 α∈V\alpha \in V。求 α\alpha 到 WW 的最短距离：

d=min⁡w∈W∥α−w∥d = \min_{w \in W} \|\alpha - w\|

正交投影​

定理（投影定理）​

定理：α\alpha 到 WW 的最短距离在且仅在 α\alpha 在 WW 上的正交投影 β\beta 处达到，即 α−β⊥W\alpha - \beta \perp W。

换句话说：∃!β∈W\exists! \beta \in W 使 α=β+γ\alpha = \beta + \gamma，其中 β∈W\beta \in W，γ⊥W\gamma \perp W。β\beta 是 α\alpha 在 WW 上的正交投影，γ\gamma 是 α\alpha 在 W⊥W^\perp 上的分量。

证明思路​

对任意 w∈Ww \in W，∥α−w∥2=∥(α−β)+(β−w)∥2=∥α−β∥2+∥β−w∥2\|\alpha - w\|^2 = \|(\alpha - \beta) + (\beta - w)\|^2 = \|\alpha - \beta\|^2 + \|\beta - w\|^2（因为 α−β⊥W\alpha - \beta \perp W，故 α−β⊥β−w\alpha - \beta \perp \beta - w）。所以 ∥α−w∥2≥∥α−β∥2\|\alpha - w\|^2 \geq \|\alpha - \beta\|^2，等号当且仅当 w=βw = \beta。

正交投影的计算​

设 W=span⁡(η1,…,ηm)W = \operatorname{span}(\eta_1, \ldots, \eta_m) 有标准正交基 ε1,…,εm\varepsilon_1, \ldots, \varepsilon_m，则：

β=∑i=1m(α,εi) εi\beta = \sum_{i=1}^{m} (\alpha, \varepsilon_i) \, \varepsilon_i

用普通基求投影​

若 WW 的基为 η1,…,ηm\eta_1, \ldots, \eta_m，求 α\alpha 在 WW 上的投影 β=∑xiηi\beta = \sum x_i \eta_i：

由 α−β⊥ηj\alpha - \beta \perp \eta_j（j=1,…,mj = 1, \ldots, m）：

(β,ηj)=(α,ηj)⟹∑i=1mxi(ηi,ηj)=(α,ηj)(\beta, \eta_j) = (\alpha, \eta_j) \quad\Longrightarrow\quad \sum_{i=1}^{m} x_i (\eta_i, \eta_j) = (\alpha, \eta_j)

写成矩阵形式：

Gx=b,Gij=(ηi,ηj),bj=(α,ηj)Gx = b, \quad G_{ij} = (\eta_i, \eta_j), \quad b_j = (\alpha, \eta_j)

其中 GG 是基的 Gram 矩阵（对称正定），解方程组即得系数 xx。

最小二乘法​

问题的提法​

不相容线性方程组 Ax=bAx = b（A∈Rm×nA \in \mathbb{R}^{m \times n}，b∈Rmb \in \mathbb{R}^m，m>nm > n）。求 xx 使 ∥Ax−b∥2\|Ax - b\|^2 最小。

几何理解​

AxAx 取遍 AA 的列空间 Col⁡(A)\operatorname{Col}(A)。问题转化为：求 bb 到 Col⁡(A)\operatorname{Col}(A) 的正交投影。

法方程（正规方程）​

由 Ax−b⊥Col⁡(A)Ax - b \perp \operatorname{Col}(A)，得：

A⊤(Ax−b)=0⟹A⊤Ax=A⊤bA^\top (Ax - b) = 0 \quad\Longrightarrow\quad A^\top A x = A^\top b

此即正规方程（Normal Equation）。

最小二乘解的公式​

若 A⊤AA^\top A 可逆（AA 列满秩时一定可逆）：

x=(A⊤A)−1A⊤bx = (A^\top A)^{-1} A^\top b

(A⊤A)−1A⊤(A^\top A)^{-1} A^\top 称为 AA 的 Moore-Penrose 左伪逆。

应用​

  • 数据拟合（y=a1f1(x)+⋯+anfn(x)y = a_1 f_1(x) + \cdots + a_n f_n(x)，最小化残差平方和）
  • 线性回归
  • 信号处理中的去噪

小结​

概念核心公式
正交投影β=∑(α,εi)εi\beta = \sum (\alpha, \varepsilon_i) \varepsilon_i
最短距离d=∥α−β∥d = \|\alpha - \beta\|
正规方程A⊤Ax=A⊤bA^\top A x = A^\top b
最小二乘解x=(A⊤A)−1A⊤bx = (A^\top A)^{-1} A^\top b