最小二乘法的应用

最小二乘法：
$W = L(\alpha_1, \cdots, \alpha_s)$ 为 $\mathbb R$ 上的欧式空间 $V$ 的子空间，$\lambda \in W$，则对于任意的 $\beta \in V$，有：
$\forall \, \delta \in W,\; ||\beta - \lambda|| \leq ||\beta - \delta|| \Longleftrightarrow \beta \, \bot \, W$
即向量到子空间各向量间的距离以垂线为最短。

下面的 $Q$ 表示待求解的问题，$A$ 代表求解方法：

求解线性方程组

• $Q_1$：

$\begin{aligned} &AX = b \\ &\text{其中} A \in {\mathbb R}^{m \times n} ;\; X \in {\mathbb R}^{n \times 1} ;\; b \in {\mathbb R}^{m \times 1} \end{aligned}$

• $A_1$：

令 $A = (\alpha_1, \cdots, \alpha_n), X = (x_1, \cdots, x_n)^{T}$，则有 $Y = AX = x_1 \alpha_1 + \cdots + x_n \alpha_n$，即 $Y \in L(\alpha_1, \cdots, \alpha_n)$，这样 $Q_1$ 便可转化为最小二乘问题：

• $Q_1^1$：

$\begin{aligned} &\displaystyle\min_{Y} ||Y - b|| \Longleftrightarrow b - Y \,\bot \, L(\alpha_1, \cdots, \alpha_n)\\ &(b - Y,\, \alpha_ i) = 0,\;\;\; i \in \{1, \cdots, s\} \Longleftrightarrow A^T(AX - b) = 0 \end{aligned}$
这样原问题便简化了。