线性代数05-转置矩阵与向量空间

Linear Algebra-转置矩阵与向量空间-05

概要

本节我们再谈置换矩阵与转置矩阵，并介绍对称矩阵，之后便进入学习线代的关键所在：向量空间与子空间。

置换矩阵

回顾

所谓的置换矩阵 P，就是用来完成行交换的矩阵，更具体地说，是行重新排列了的单位矩阵。例如 I 就是一个置换矩阵，只不过 I 对矩阵没影响。

那么对于 n 阶矩阵来说，有多少个置换矩阵呢？答案是：n!种，也就是将单位矩阵 I 各行重新排列后所有可能的情况的数量。

置换矩阵的另一个优点就是可逆，因为置换矩阵各行还原后可以得到单位矩阵。而且对于置换矩阵 P，有$P{P}^T=I$，也就是$P^{-1}=P^T$。

这个性质其实很好理解，首先明确，P 是置换矩阵，因此 P 的每个列向量中只有一个分量是 1，其余分量均是 0。而既然要求$P{P}^{-1}=I$，那就说明$P$中每一行的行向量与$P^{-1}$中每一列的列向量的数量积为 1，也就意味着$P$中每一行与$P^{-1}$中每一列中分量 1 出现的位置相同，也就是$P$与$P^{-1}$沿对角线对称，所以$P^{-1}=P^T$。

置换矩阵的使用

在讲消元法的时候，主元位置为 0 是一件很让人头疼的事，这时就需要置换矩阵 P 来完成行交换，确保消元过程顺利进行。上节学习$A=LU$分解时，我们没有考虑要交换行的过程，如果我们想写出更普适的 LU 分解式的话，必须把行交换情况考虑进去，即：$PA=LU$，先用行交换使得主元位置不为 0，行顺序正确，其后再使用 LU 分解。

转置矩阵

转置矩阵回顾

之前简单介绍过转置矩阵，即：

$$A=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right],A^T=\left[\begin{array}{ccc}1& 2& 4\\ 3& 3& 1\end{array}\right]$$

用符号来表示就是对$A$矩阵以及$A^T$矩阵中每一个元素，都有：

$$(A^T{)}_{ij}=A_{ji}$$

也就是说，转置矩阵中，行元素与列元素交换了，理解转置很简单。

对称矩阵

对称矩阵，顾名思义，就是主对角线两侧元素对应相等的矩阵。或者说，对于矩阵 A，如果有$A=A^T$，那么矩阵 A 就是一个对称矩阵，如 $\left[\begin{array}{ccc}3& 1& 7\\ 1& 2& 9\\ 7& 9& 4\end{array}\right]$。

那么我们如何获取到对称矩阵呢？很简单，矩阵$A$与$A^T$相乘得到的方阵一定是对称矩阵，因为我们从对称矩阵的定义来看，取$(A^{T}A{)}^T$，根据转置的运算规律，可知$(AB{)}^T=B^T{A}^T$，所以有：

$$(A^{T}A{)}^T=A^T{A}^{TT}=A^{T}A$$

所以任何的$A^{T}A$，转置仍然是其本身，故称为对称矩阵。

向量空间与子空间

向量空间

首先明确“向量空间”的概念，它表示一整个空间的向量，但是要注意，不是任意向量的集合都能被称为向量空间。所谓的向量空间，必须满足一定规则，就是：该空间对线性运算(相加，数乘)封闭。类似：v->3v 或者 v, w-> v+w 运算，若得到的 3v 或者 v+w 都仍然在此空间中，则这个空间可称为向量空间。

举个例子，$R^2$就是一个向量空间，其中的向量均为二维实向量。在$R^2$上就存在线性组合，我们举例说明：

$\left[\begin{array}{c}3\\ 2\end{array}\right],\left[\begin{array}{c}0\\ 0\end{array}\right],\left[\begin{array}{c}\pi \\ e\end{array}\right]$均在$R^2$的实数二维向量空间中，对它们做线性运算，得到的结果仍然在$R^2$ 空间中。

显然，$R^2$的向量空间可以构成一个平面，即是图上的 xoy 平面。这个向量空间存在的关键在于上图中平面上任何向量都在$R^2$向量空间中，尤其是零向量。因为线性运算是“数乘”“相加”，任何向量乘上 0 或者加上其反向向量后得到的都是零向量，所以它必然存在于所有向量空间中，这一点十分重要。

同样，推广到$R^3$空间，$R^3$中是三维的向量，每个分量均为实数，例如 $\left[\begin{array}{c}3\\ 2\\ 0\end{array}\right]$，这样的向量就在$R^3$ 空间中。

再进行推广，$R^n$空间中包括所有的 n 维向量，每个列向量有 n 个分量，且分量均为实数。

再举一个不是向量空间的例子：

还是$R^2$空间中，但是这次我们只取第一象限内的区域 D：

显然，这部分空间无法满足“线性组合仍在空间中”的要求，比如数乘运算时，随便取个负数，向量就会跑到第三象限去，脱离 D 空间范围内了。

子空间

上面的反例已经证明，在向量空间里随便取其一部分，很可能得到的不是向量空间。那如果我们取向量空间的一部分，构成的有没有可能是向量空间呢？ 答案是有的，这样还能构成向量空间的部分我们称之为子空间，还是以$R^2$为例：

如图，整个坐标平面表示的就是原向量空间$R^2$，而这条穿过原点的直线就是$R^2$的子空间之一。检验一下这条直线上的任意向量，他们的“数乘”，“相加”运算结果全部仍在这条直线上，这就构成了一个子空间。而如果这条直线不过原点，那么零向量都不在这个空间中，就更别谈什么子空间了。

那$R^2$空间中，还有没有其他的子空间呢？既然我们这么强调零向量，那就让它单独成一个空间就好了。记为 Z，其中之后一个零向量，它也是$R^2$的子空间之一。

再稍微推广一下，$R^3$的子空间就是如下三个：

1. 穿过原点的平面；
2. 穿过原点的直线；
3. Z，原点；

列空间

上面介绍的子空间都是基于已知的图像来寻找的，接下来我们通过具体的矩阵来构造一个子空间，比如：列向量构造出的列空间。

我们以 $A=\left[\begin{array}{cc}1& 3\\ 2& 3\\ 4& 1\end{array}\right]$为例。首先能看出来，各列向量$\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right],\left[\begin{array}{c}3\\ 3\\ 1\end{array}\right]$均属于$R^3$，而且由这两个向量张开的子空间必须满足“线性运算封闭”这一性质。也就是说$\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right],\left[\begin{array}{c}3\\ 3\\ 1\end{array}\right]$以及它们的线性组合构成了一个$R^3$ 的子空间，我们称之为：列空间，记为 C(A)。

因为 $\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right],\left[\begin{array}{c}3\\ 3\\ 1\end{array}\right]$ 不在同一条直线上，所以，这个列空间表现在图像上，就是一个过原点与这两个列向量的平面。

两个向量 $\left[\begin{array}{c}1\\ 2\\ 4\end{array}\right],\left[\begin{array}{c}3\\ 3\\ 1\end{array}\right]$以及它们的所有线性组合都在这个二维平面上，构成一个空间。这里需要我们好好理解，用教授的话说“$R^3$情况下还可以作图，但是更高维的类似于$R^{10}$情况你要怎么办？譬如求$R^{10}$ 空间中 5 个向量线性组合是什么样的？如果不共线，我们就可以类似地理解为一个十维空间中的五维平面之类的东西。”

这里还要注意列向量之间的性质，如果列向量之间就是共线的，那么其列空间就是一条过原点的直线。

学习感悟

这节介绍了向量空间和子空间，并由子空间引出了通过具体的列向量构成的空间—列空间。如何理解空间的概念非常重要，本节中对低维的空间做了图，目的是便于我们理解“空间”这一概念。