线性代数-复习2-25

Linear Algebra-复习2-25

一、知识概要

这是一篇复习课，我们将一起回顾第 14 到 24 课所学的内容，并通过几道典型例题来巩固这些知识点。这些内容都是线性代数的核心基础，打好底子对后面的学习非常重要。

二、复习

2.1 回顾知识

让我们先按照模块，把之前学过的重点快速过一遍。

2.1.1 投影部分

首先是正交性。当矩阵$Q = \begin{bmatrix}q_{1} & \cdots & q_{n}\end{bmatrix}$中的列向量$q_1, q_2, \dots, q_n$都是标准正交基时，我们称这样的矩阵为正交矩阵。正交矩阵有一个非常好用的性质：$QQ^{T}=I$，也就是说它的转置就是它的逆。

接下来我们学习了投影的概念，并且用投影这个工具解决了一个很实际的问题——当方程$Ax = b$无解时，如何找到最优近似解。这就是我们常说的最小二乘拟合方法。

我们还介绍了Gram-Schmidt 正交化方法。这个方法的思路很清晰：它通过将线性无关的向量依次投影到已经得到的正交向量上，减去投影分量，保证新得到的向量与之前的所有向量都正交，最后再进行单位化，就能把任意一组基转换为标准正交基。

2.1.2 行列式部分

我们学习了行列式的十个基本性质，其中前三个性质最为重要，后面所有性质都可以由这前三个推导出来。行列式的完全展开式共有$n!$项，计算的时候一定要注意符号问题。

此外，我们还学习了代数余子式公式，它是计算行列式的一种简便方法。从代数余子式公式出发，我们还推导出了著名的逆矩阵公式：$A^{-1}=\frac{1}{|A|}C^{T}$，这个公式把逆矩阵、行列式和代数余子式联系在了一起。

2.1.3 特征值部分

我们学习了特征值与特征向量的定义：满足$Ax=\lambda x$的$\lambda$就是矩阵$A$的特征值，对应的非零向量$x$就是特征向量。我们还知道如何通过特征方程$|A - \lambda I|=0$来求解特征值，再进一步求特征向量。

如果一个$n$阶矩阵有$n$个线性无关的特征向量，我们把它们按列拼成矩阵$S$，就可以对矩阵进行对角化处理：$A = S\Lambda S^{-1}$，其中$\Lambda$是由特征值构成的对角矩阵。利用这个对角化公式，我们可以很方便地计算矩阵幂。特征值的应用非常广泛，比如在微分方程问题中就经常用到它。

2.2 例题

光说不练假把式，我们来看几道典型例题，把知识点用起来。

【例 1】现有向量$a=\begin{bmatrix}2\\1\\2\end{bmatrix}$，试找到向量$a$所在直线的投影矩阵并讨论其性质（即对于任意的向量$b$，找到可以将其投影到该直线上的投影矩阵）。

解：

根据我们学过的投影矩阵公式：

$$P = A(A^{T}A)^{-1}A^{T}$$

这里向量$a$本身就是一个$3 \times 1$的矩阵$A$，代入公式计算可得投影矩阵：

$$P=\frac{1}{9}\begin{bmatrix}4&2&4\\2&1&2\\4&2&4\end{bmatrix}$$

很明显，这是一个不可逆矩阵。观察一下，第一列、第三列都是第二列$\begin{bmatrix}2\\1\\2\end{bmatrix}$的 2 倍，所以矩阵$P$的秩为 1，它的列空间是 1 维的，零空间就是 2 维的。这意味着它有两个特征值都是 0，最后一个特征值可以利用矩阵的迹等于特征值之和这个性质来求：$\frac{1}{9}(4 + 1 + 4)=1$，所以第三个特征值就是 1。

接下来求特征值 1 对应的特征向量，满足：

$$Px = x$$

从投影的实际意义出发，投影矩阵作用在投影方向$a$上，结果应该还是$a$本身，也就是$Pa = a$，正好满足上面这个式子。所以特征值 1 对应的特征向量就是$a$本身，这个结论很直观对不对？

【延伸】将矩阵$P$引入差分方程，题目如下：方程$u_{k + 1}=Pu_{k}$，其对应初值为$u_{0}=\begin{bmatrix}9\\9\\0\end{bmatrix}$，求解$u_{k}$。

解：首先我们注意到$P$是投影矩阵，它有一个特殊性质：$P^{k}$和$P$单独作用在一个向量上的效果是相同的——投影一次之后再投影多少次结果都不会变。所以我们只需要求出$u_0$投影一次的结果就行了。代入计算：

$$u_{1}=Pu_{0}=a\frac{a^{T}u_{0}}{a^{T}a}=a\frac{27}{9}=\begin{bmatrix}6\\3\\6\end{bmatrix}$$

因为投影后就不变了，所以直接得到结论：

$$u_{k}=P^{k}u_{0}=Pu_{0}=\begin{bmatrix}6\\3\\6\end{bmatrix}$$

这里我们回忆一下，之前学习差分方程的时候，如果$P$不是投影矩阵，我们一般用特征值特征向量展开的方法来求解：

$$u_{0}=c_{1}x_{1}+c_{2}x_{2}+\cdots +c_{n}x_{n}$$ $$u_{k}=A^{k}u_{0}=c_{1}\lambda_{1}^{k}x_{1}+c_{2}\lambda_{2}^{k}x_{2}+\cdots +c_{n}\lambda_{n}^{k}x_{n}$$

那放到这道题里，这个公式还适用吗？其实一样适用。对于我们这个投影矩阵$P$，它有两个特征值是 0，一个特征值是 1。那么$\lambda_1^k$和$\lambda_2^k$当$k \geq 1$时都是 0，所以前两项直接就没了，只剩下最后一项$1\times c_3 x_3$，这个结果和我们刚才用投影性质得到的结论是一致的。

【例 2】给定一组点$(1,4)$，$(2,5)$，$(3,8)$，尝试将其拟合到一条过原点的直线上。

解：题目要求过原点，所以我们可以设直线方程为$y = Dt$，只有一个未知数$D$，也就是一个自由度。把三个点代入方程，写成矩阵形式就是：

$$\begin{bmatrix}1\\2\\3\end{bmatrix}D=\begin{bmatrix}4\\5\\8\end{bmatrix}$$

我们记作：$AD = b$

这个方程显然大概率是无解的，所以我们需要找最优的$D$。根据最小二乘法，最优解满足正规方程：

$$A^{T}A\hat{D}=A^{T}b$$

（本题中$AD = b$其实就对应我们一般说的$Ax = b$）代入计算一下，最终解得：

$$\hat{D}=\frac{38}{14}$$

这就是我们要找的最优拟合参数了。

【例 3】已知$a_{1}=\begin{bmatrix}1\\2\\3\end{bmatrix}$，$a_{2}=\begin{bmatrix}1\\1\\1\end{bmatrix}$，求一组正交基。

解：

这就是一个典型的Gram-Schmidt正交化问题了。我们按照Gram-Schmidt的步骤来做。

先把第一个向量作为正交基的第一个向量，然后找第二个正交向量。我们可以把原第二个向量$a_2$减去它在第一个向量上的投影，这样剩下的部分自然就和第一个向量正交了：

$$B=\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{a_{1}^{T}a_{2}}{a_{1}^{T}a_{1}}a_{1}=\begin{bmatrix}1\\1\\1\end{bmatrix}-\frac{6}{14}\begin{bmatrix}1\\2\\3\end{bmatrix}$$

计算出$B$之后，$\{a_1, B\}$就是我们要找的正交基了，如果需要标准正交基，再分别单位化即可。

【例 4】给定一个 $4\times4$矩阵，其特征值为$\lambda_{1}$，$\lambda_{2}$，$\lambda_{3}$，$\lambda_{4}$。

(1) 特征值在满足什么条件下，矩阵是可逆的？

答：根据我们之前学过的结论，只有所有特征值都不为 0 时，矩阵才可逆。如果有一个特征值为 0，那么$Ax = 0x$就会有非零解，说明矩阵不可逆，这个逻辑很清晰。

(2) $|A^{-1}|$的行列式等于多少？

答：我们知道两个基本结论：一是$|A||A^{-1}| = |I| = 1$，二是矩阵行列式的值等于所有特征值的乘积。结合这两个结论，就可以得到：

$$\left|A^{-1}\right|=\frac{1}{\lambda_{1}\lambda_{2}\lambda_{3}\lambda_{4}}$$

(3) 矩阵$A + I$的迹是多少？（已知迹等于矩阵特征值之和）

答：$I$是四阶单位矩阵，我们知道，如果$\lambda$是$A$的特征值，那么$\lambda + 1$就是$A + I$的特征值。所以$A + I$的迹就是所有特征值之和，也就是在原来$A$的迹的基础上每个特征值都加 1，四个特征值一共加 4。所以结果是：

$$\lambda_{1}+\lambda_{2}+\lambda_{3}+\lambda_{4}+4$$

【例 5】有一种矩阵$A_{4}=\begin{bmatrix}0&1&0&0\\1&0&2&0\\0&2&0&3\\0&0&3&0\end{bmatrix}=A_{4}^{T}$，它可以类比$A_{3}=\begin{bmatrix}0&1&0\\1&0&2\\0&2&0\end{bmatrix}$来研究。

(1) 求投影到$A_{3}$列空间的投影矩阵。

解：直接用投影公式：

$$P = A(A^{T}A)^{-1}A^{T}$$

把矩阵$A_{3}$代进去计算就能得到答案。这里需要注意一点：$A_{3}$本身是不可逆矩阵，它的列空间是三维空间中的一个平面，所以这个投影矩阵的作用就是把任意向量投影到这个平面上。

(2) 求$A_{3}$的特征值和特征向量。

解：按照标准步骤，令行列式$|A_{3}-\lambda I| = 0$，解这个方程就能得到特征值为 $0,\pm\sqrt{5}$。再把每个特征值代回$(A-\lambda I)x = 0$，解出零空间的基就是对应的特征向量。

(3) 求投影到$A_{4}$列空间的投影矩阵。

解：这里有一个很有意思的结论：如果$A_{4}$是可逆矩阵，那它的列空间就是整个$R^{4}$，任何向量本来就在这个空间里，所以向整个空间投影的投影矩阵就是单位阵$I$，投影后向量本身不变。那$A_{4}$可逆吗？计算一下它的行列式就能知道，$|A_4| = 9 \neq 0$，所以矩阵可逆，因此投影矩阵就是 4 阶单位阵。

此外，我们观察$A_3$和$A_4$，还可以提出一个猜想：这种形式的三对角对称矩阵，奇数阶矩阵都是奇异（不可逆）的，偶数阶矩阵都是可逆的，这个猜想对不对感兴趣的同学可以进一步验证。

三、学习感悟

这一章学习了很多知识，这些基本求解方法必须掌握，因为它们是我们进一步学习更深层次内容的基础。尤其是特征值的求解、投影矩阵的理解等内容非常重要。