Linear Algebra-正交向量与子空间-14

一、知识概要

本节开启新的研究篇章，聚焦于之前提及的子空间，不过研究视角转向正交方向，重点探讨子空间的相关性质以及正交向量的特性等内容。这些核心要点集中呈现在下表中。

子空间	维数	与矩阵关系
列空间 $C(A)$	$r$	由矩阵 $A$ 的列向量生成的空间
行空间 $C(A^T)$	$r$	由矩阵 $A$ 的行向量转置后生成的空间
零空间 $N(A)$	$n - r$	满足 $Ax = 0$ 的所有解向量构成的空间
左零空间 $N(A^T)$	$m - r$	满足 $A^T y = 0$ 的所有解向量构成的空间

二、正交向量与子空间

2.1 基本正交概念

在探讨正交向量之前，先明确正交的定义：在线性代数范畴内，正交等同于垂直，无论是向量正交还是空间正交，都可按垂直的概念来理解。

向量正交：观察向量和，从垂直关系可直观得出。这一结论也能通过勾股定理推导得出：
- 根据勾股定理，有 $|x|^2 + |y|^2 = |x + y|^2$ 。
- 用向量形式表示为 $x^t x + y^t y = (x + y)^t(x + y)$ 。
- 对等式右边展开化简：

$(x + y)^t(x + y)=(x^t + y^t)(x + y)=x^t x + x^t y + y^t x + y^t$

从而得到 $x^t y + y^t x = 0$ 。

由于 $x^t y$ 与 $y^t x$ 本质相同，均表示两个一维向量的点乘，所以进一步化简可得 $2x^t y = 0$ ，即两个向量正交时， $x^t y = 0$ 。
特别地，若两个向量中一个是零向量，根据上述结论，这两个向量一定正交。

空间正交：两个空间正交的定义为，一个空间中的任意向量，都与另一个空间中的任意向量正交。例如，黑板所在平面和地面所在平面的子空间并不正交，因为它们存在交线，交线上的非零向量不满足空间正交的定义。这表明，若两个平面在某一非零向量处相交，那么这两个平面一定不正交。
$R^2$ 子空间的正交情况：在 $R^2$ 中，平面上的子空间有三种类型，分别是整个平面 $D$ 、过原点的直线 $L$ 以及原点 $O$ 。
- $L$ 与 $D$ 的正交情况：在一个平面内，直线不可能始终与该平面垂直。
- $L$ 与 $O$ 的正交情况： $L$ 与 $O$ 永远正交。
- $L$ 与另一个 $L$ 的正交情况：根据正交定义，只有当两条直线在原点处互相垂直时，这两个 $L$ 空间才正交。

2.2 零空间与行空间的正交关系

零空间与行空间存在正交关系，这种关系就如同将一个空间一分为二，得到的两个子空间相互正交。

证明正交关系：将矩阵 $A$ 写成行向量形式，对于方程 $Ax = 0$ ，即：

$\begin{bmatrix} R_1 \\ R_2 \\ \vdots \\ R_m \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ \end{bmatrix} = \begin{bmatrix} R_1(x_1, x_2, \cdots) \\ R_2(x_1, x_2, \cdots) \\ \vdots \\ R_m(x_1, x_2, \cdots) \end{bmatrix} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$

可以发现， $A$ 的每一行 $R_x$ 与向量 $x$ 的列相乘结果都为 0 。其中， $x$ 代表零空间中的任意向量，而 $A$ 的每一行的线性组合构成了 $A$ 的行空间，这完全符合正交子空间的定义，所以零空间与行空间是正交的。

维数关系及示例：行空间与零空间的维数之和恰好为 $n$ 。以矩阵 $A = \begin{bmatrix}1 & 2 & 5 \\ 2 & 4 & 10\end{bmatrix}$ 为例， $Ax = 0$ 可表示为：

$\begin{bmatrix}1 & 2 & 5 \\ 2 & 4 & 10\end{bmatrix} \begin{bmatrix}x_1 \\ x_2 \\ x_3\end{bmatrix} = \begin{bmatrix}0 \\ 0 \\ 0\end{bmatrix}$

在此例中， $A$ 的行空间是一维的，通过计算可得其零空间是二维的（ $3 - 1 = 2$ ），可以理解为垂直于向量 $(1, 2, 5)$ 的一个平面。行空间与零空间的向量都是三维的，它们都是 $R^3$ 的子空间，这充分验证了零空间与行空间维数之和等于空间 $R^n$ 的维数这一性质，也解释了二者类似于将一个空间一分为二得到两个正交子空间的关系，这种关系被称为 $R^n$ 空间的正交补。

2.3 无解方程的最优解

在实际应用中，矩阵的数据常来源于测量，难免存在测量不准确的情况。例如求解 $Ax = b$ 方程时，如果 $A$ 的列数较多，其中可能混入不准确数据，导致无法用常规方法求出准确解。此时，需要寻找方程的最优解，方法是将方程改写为 $A^T A \hat{x} = A^T b$ ，求解得到的 $\hat{x}$ 即为最优解（注意， $\hat{x}$ 并非 $Ax = b$ 的解）。

$A^T A$ 矩阵的性质：
- 方阵性质：设 $A$ 为 $m×n$ 矩阵，则 $A^T A$ 为 $n×n$ 型的矩阵，即 $A^T A$ 的结果总是方阵。
- 对称性质：因为 $(A^T A)^T = A^T A$ ，所以 $A^T A$ 总是对称阵。
$A^T A$的可逆性判断： $A^T A$ 矩阵不一定总是可逆的。当 $A$ 矩阵列向量线性相关时， $A^T A$ 就不可逆。
证明：假设 $A$ 矩阵列向量线性相关，且 $A^T A$ 可逆，则存在非零向量 $x$ ，使得 $A^T Ax=0$ 。

与 $x\neq 0$ 矛盾，因此当 $A$ 矩阵列向量线性相关时， $A^T A$ 就不可逆。
判断 $A^T A$ 是否可逆有以下两个基本结论：
- $N(A^T A) = N(A)$ ，即 $A^T A$ 与 $A$ 的零空间相同。
- $A^T A$ 与 $A$ 的秩相同。

由上述结论可知， $A^T A$ 可逆意味着其零空间中只有零向量，即 $A$ 的各列线性无关。所以在求最优解时，需要先判断 $A$ 的列向量是否线性无关，再进行求解。

三、学习感悟

本节围绕正交概念展开深入学习，从向量正交逐步延伸到空间正交，进而揭示了零空间与行空间之间的正交关系。最后探讨并引入了解决 $Ax = b$ 无解情况的方法，这部分内容是本章的核心要点。空间之间的正交关系在开篇的表中已有所体现，理解正交与子空间的概念是后续深入学习核心内容——求解 $A^T A \hat{x} = A^T b$ 的重要基础。