Linear Algebra-对称矩阵及正定性-26

一、知识概要

今天我们继续线性代数的探索。这一节我们从对称矩阵的特征值和特征向量出发，来看看对称矩阵有哪些特殊的性质，再在这个基础上引出一个非常重要的概念——正定矩阵。

二、对称矩阵

就像我们之前学习过的马尔科夫矩阵一样，对称矩阵也是一类具有特殊性质的矩阵。在很多情况下，矩阵的特殊性质往往都体现在它的特征值和特征向量上，所以对于对称矩阵，我们也从这个角度开始探讨。

对称矩阵满足以下两个核心性质：

(1) $A = A^{T}$ ，这是对称矩阵最基本的定义。

(2) 存在正交的特征向量。

这里需要特别说明一下：如果对称矩阵有重复的特征值，那么会存在一整个平面的特征向量，我们只要从中挑选出一组垂直的向量即可，”存在正交特征向量”这个结论依然成立；而对于特征值不重复的情况，对应的特征向量本身就是相互垂直的。

2.1 对称矩阵的分解

基于上面这两个性质，我们可以发现对称矩阵很多有趣的特点。从性质(2)可知，对称矩阵的特征向量必然全部线性无关，而这正是矩阵可以被对角化的前提条件。让我们回忆一下矩阵对角化的知识：

一般情况： $A = S\Lambda S^{-1}$ （ $S$ 是由特征向量组成的矩阵）。
对称矩阵情况（拥有正交特征向量）：

$A=Q\Lambda Q^{-1} $$，因为Q的列向量是标准正交的，所以有$$Q^{T}=Q^{-1}$$，因此我们可以得到：**$$A=Q\Lambda Q^{T}$$** 另外，我们可以验证一下，$$A = Q\Lambda Q^{T}$$ 本身就是对称的，因为$$(Q\Lambda Q^{T})^{T}=Q\Lambda Q^{T}$$。所以说，只要给定一个对称矩阵，我们就一定可以将它分解成这种形式。在力学中，这被称为**主轴定理**，意思就是在合适的坐标轴上观察某种材料，它会变成对角化形式，各个方向不会交叉重复；在数学上，这个结论被称为**谱定理**。 ### 2.2 对称矩阵的特征值还记得我们之前介绍过的旋转矩阵吗？它可能会出现虚数特征值，但有趣的是，**对称矩阵不会有虚特征值，所有特征值都是实数**。下面我们来证明这个重要结论：从特征值基本公式 $$A x=\lambda x$$ 出发： - 对这个公式两边取共轭，因为$$A$$是实矩阵，元素都是实数，所以得到：$$A\overline{x}=\overline{\lambda}\overline{x}$$。 - 再对两侧同时取转置：$$\overline{x}^{T}A^{T}=\overline{\lambda}\overline{x}^{T}$$，又因为对称矩阵满足$$A = A^{T}$$，所以化简得到$$\overline{x}^{T}A=\overline{\lambda}\overline{x}^{T}$$。 - 两边同时乘上$$x$$构造方程，可得：$$\overline{x}^{T}A x=\overline{x}^{T}\overline{\lambda}x(2.2.1)$$。现在我们注意到左边出现了$$Ax$$，我们再用原来的特征值公式做一次替换，将$$A x=\lambda x$$ 代入，可以得到另一个关系式：$$\overline{x}^{T}Ax=\lambda \overline{x}^{T}x(2.2.2)$$。对比上面的两个式子(2.2.1)与(2.2.2)，我们发现：当$$\overline{x}^{T}x$$不为零时，必然有$$\lambda=\overline{\lambda}$$，这就证明了特征值一定是实数。那么为什么$$\overline{x}^{T}x$$一定不为零呢？我们来计算一下看看：$

\overline{x}^{T}x =
\begin{bmatrix}
\overline{x}{1} & \overline{x}{2} & \cdots & \overline{x}{n}
\end{bmatrix}
\begin{bmatrix}
x{1} \
x{2} \
\cdots \
x{n}
\end{bmatrix}
=\overline{x}{1}x{1}+\overline{x}{2}x{2}+\cdots+\overline{x}{n}x{n}

$其中每一项$$\overline{x}_{i}x_{i}=(a + bi)(a - bi)=a^{2}+b^{2}$$，结果都是实数且大于零。只有当$$x$$是零向量时，它才等于零，而对称矩阵的特征向量$$x$$不可能是零向量，所以$$\overline{x}^{T}x = 0$$这种情况不存在，因此对称矩阵的所有特征值都是实数。这里补充一点：即使是复数矩阵，只要满足$$\overline{A}^{T}=A$$（共轭转置等于其本身），它的特征值也一定都是实数。证明过程和上面完全一样，只是最后把$$\overline{A}^{T}$$代换为$$A$$即可。知道了对称矩阵特征值都是实数之后，我们再来进一步探究它们的正负性。对称矩阵还有一个非常实用的性质： (1) **对称矩阵的主元正负个数与特征值的正负个数是一一对应的**，即： - 正主元个数 = 正特征值个数 - 负主元个数 = 负特征值个数 (2) **对称矩阵主元的乘积等于特征值的乘积**，它们都等于矩阵的行列式的值。这个性质非常有用，因为当矩阵规模比较大的时候，求主元只需要做消元操作，比直接求解特征值要简单得多，这就为我们判断特征值的正负性提供了一条捷径。 ### 2.3 对称矩阵的另一种理解根据$$A = Q\Lambda Q^{T}$$，我们把它展开，用另一种矩阵乘法的视角来分析一下（列乘行再相加）：$

A = Q\Lambda Q^{T}=
\begin{bmatrix}
q{1} & q{2} & \cdots & q{n}
\end{bmatrix}
\begin{bmatrix}
\lambda{1} & 0 & \cdots & 0 \
0 & \lambda{2} & & 0 \
\cdots & & \cdots & \
0 & & 0 & \lambda{n}
\end{bmatrix}
\begin{bmatrix}
q{1}^{T} \
q{2}^{T} \
\cdots \
q_{n}^{T}
\end{bmatrix}

中间的对角矩阵可以把对角元素当作常数提出来，计算后再相加，最终我们得到： $A=\lambda_{1}q_{1}q_{1}^{T}+\lambda_{2}q_{2}q_{2}^{T}+\cdots$ 。

由于 $q_{1}$ 是单位列向量，满足 $q_{1}^{T}q_{1} = 1$ （单位向量性质），所以这些 $q_{i}q_{i}^{T}$ 实际上就是向 $q_{i}$ 方向投影的投影矩阵。我们知道投影矩阵的一般形式是 $P=A(A^{T}A)^{-1}A^{T}$ ，这里因为 $q_{i}$ 已经是单位向量，所以形式就简化成了 $q_{i}q_{i}^{T}$ 。

这样我们就从一个新的角度理解了谱定理：每一个对称矩阵都是一些互相垂直的投影矩阵的线性组合。这个视角非常漂亮，把我们之前学过的投影矩阵和对称矩阵对角化联系起来了。

三、正定矩阵简介

这里我们先提前认识一下正定矩阵，后面第 27、28 课会再详细讲解。

正定矩阵是一类特殊的对称矩阵，它满足以下几个等价条件：

(1) 所有的特征值都是正数。

(2) 所有主元都是正数。

(3) 所有的子行列式都为正。

这里解释一下”子行列式”的概念：从原矩阵左上角开始，依次划分出 $1\times1$ 的一块， $2\times2$ 的一块，……，一直到整个矩阵，得到的这些子块对应的行列式就称为”子行列式”。

我们来看一个例子：对于矩阵 $\begin{bmatrix}5 & 2 \\ 2 & 3\end{bmatrix}$ ：

对该矩阵进行消元，可求得其主元为 $5$ 、 $\frac{11}{5}$ ，两个都是正数，而且这个矩阵是对称矩阵，所以它是一个正定矩阵。

同时我们计算它的特征值可得： $\lambda = 4\pm\sqrt{5}$ ，确实两个特征值都是正数，和主元的结论一致。

正定矩阵的行列式一定是正数，但要注意反过来并不成立——行列式为正数的矩阵不一定都是正定矩阵，必须满足”所有的子行列式都为正”才行。比如反例： $\begin{bmatrix}-1 & 0 \\ 0 & -3\end{bmatrix}$ ，行列式是 $3>0$ ，但两个子行列式 $-1$ 和 $3$ ，显然第一个就不满足条件，所以它不是正定矩阵。

你有没有发现，从主元到行列式再到特征值，这些性质把本课程之前讲过的主要内容都紧密联系在一起了。比如在微分方程中，矩阵的特征值是判断稳定性的关键条件，我们可以根据特征值的正负来判断系统是否稳定。