向量和矩阵的惨烈修罗场II——矩阵，向量，与方程组

说起方程组，想必各位肯定不陌生。

自初中起，老师就教会我们将含有两个未知数的两个方程式拼在一起以算出解。

例如，有一个最简单的方程组：

$$\begin{cases} x_1 + x_2 = 3 \\ \\ x_1 - x_2 = 1 \end{cases}$$

我们的目标是求出$x_1$和$x_2$，那不妨将2式与1式相加，得$2x_1=4$，即可知道答案是$\begin{cases} x_1 = 2 \\ x_2 = 1 \end{cases}$。

那么，在线性空间中，我们怎么理解这样的方程组呢？

零、线性方程组究竟在干什么？

通过上一节_{👉跳转：矩阵的特征值与特征向量}我们知道，线性方程组可以被表述为：矩阵乘一个由未知数组成的列向量。对于上述的例子，式子可以被表述为：

$$\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} = \begin{pmatrix} 3 \\ 1 \end{pmatrix}$$

这样又有什么意义呢？

通过矩阵乘法的定义我们知道，所谓矩阵乘，就是将左边矩阵每一行的元素乘上右边矩阵的每一列的元素，随后将结果加和在一起。

对于以上矩阵，结合原方程，动用惊人的注意力，我们不难发现，矩阵左边的两个元素$\begin{pmatrix} 1 \\ 1 \end{pmatrix}$总是和$x_1$相乘，而右边两个元素$\begin{pmatrix} 1 \\ -1 \end{pmatrix}$则总是和$x_2$相乘。所以上述矩阵做的，其实是

$$\begin{pmatrix} 1 \\ 1 \end{pmatrix}x_1+\begin{pmatrix} 1 \\ -1 \end{pmatrix}x_2=\begin{pmatrix} 3 \\ 1 \end{pmatrix}$$

没错，线性方程组的本质其实是：我们想知道是否存在一组系数，让一组向量能够线性组合出某种结果？

更一般地，对于一个矩阵$A=(\boldsymbol{\alpha_1},\boldsymbol{\alpha_2},...,\boldsymbol{\alpha_n})$是否存在一组系数$x_1,x_2,...,x_n$，使得经过线性组合的$x_1\boldsymbol{\alpha_1}+x_2\boldsymbol{\alpha_2}+...+x_n\boldsymbol{\alpha_n}$能恰好等于给定的一个向量$\boldsymbol{b}=(b_1, b_2, ...,b_n)$？

所以，所有的线性方程组都可以写成

$$\boxed{AX=\boldsymbol{b}}$$

是的，在线性代数中，我们研究的重点并不是未知数$x_i$，而是如何线性组合/变换向量$\boldsymbol{\alpha_i}$。

所以，线性方程组其实在研究如下三个问题：

• 存在性：能否组合成$\boldsymbol{b}$？
• 唯一性：有几种组合方式？
• 解的结构：如果有好几种组合方式，它们之间有什么关系？

一、矩阵的秩

其实我想了蛮久该从哪里开始介绍线性方程组，想来想去还是从矩阵开始吧。

你可能听说过矩阵的秩。它代表矩阵中有多少个线性无关的向量。通常由一个矩阵经过行变换和列变换后，化成最简形矩阵，通过观察该矩阵得来。

1. 秩和变量的关系

举个简单的例子。现在有个增广矩阵：

$$\begin{pmatrix} \begin{array}{cc|c} 1 & 1 & 3\\ 1 & -1 & 1 \end{array} \end{pmatrix}$$

增广矩阵：

把线性方程组的系数矩阵和常数项列向量并排放在一起所得到的矩阵，通常用竖线分隔。

我们将它的第一行加上第二行，得到

$$\begin{pmatrix} \begin{array}{cc|c} 2 & 0 & 4\\ 1 & -1 & 1 \end{array} \end{pmatrix}$$

再由第二行减去二分之一的第一行，得到

$$\begin{pmatrix} \begin{array}{cc|c} 2 & 0 & 4\\ 0 & -1 & -1 \end{array} \end{pmatrix}$$

将第一行除二，第二行取反

$$\begin{pmatrix} \begin{array}{cc|c} 1 & 0 & 2\\ 0 & 1 & 1 \end{array} \end{pmatrix}$$

你有没有发现，这和传统方法中求$x_1$和$x_2$的解一致。

把它恢复到原来的方程，也就是

$$\begin{cases} x_1 + 0 = 2 \\ \\ 0 + x_2 = 1 \end{cases}$$

假设有这样的一个矩阵：

$$\begin{pmatrix} \begin{array}{cc|c} 1 & 0 & 2\\ 0 & 0 & 0 \end{array} \end{pmatrix}$$

那它对应的方程是：

$$\begin{cases} x_1 + 0 = 2 \\ \\ 0 + 0 = 0 \end{cases}$$

在这种情况下，$x_2$可以取任意值。

于是我们可以直观地得到一个结论：矩阵的秩代表了线性方程组中非自由变量的个数。

非自由变量：方程组中不能任意变化的量。它的值通常需要根据自由变量来确定。

2. 线性无关和非自由变量

我们知道，矩阵的秩还代表着矩阵中线性无关的向量个数。

和上一小节我们获得的结论组合，我们能得到：矩阵中线性无关向量个数和非自由变量的个数相同。

为什么会有这样的巧合？我们从矩阵本身的性质入手。

1) 矩阵的秩和对应的线性变换

现在假设有一个$m\times n$矩阵$A$，将其作用于一个向量$X$，获得$AX=b$，那么在线性空间中它其实是在做什么呢？

从上一节_{👉跳转：矩阵乘法背后的几何意义}我们知道，这其实就是对$X$在几何空间中进行一次变换。

我们可以将$A$视作一个处理机，将$X$输入到$A$，可以根据规律输出为$b$。

你可能听说过，当$A$列满秩时，$r(AB)=r(B)$。

这是因为，矩阵的列数代表输入的维度，而秩则代表输入向量有多少个独立方向的信息没有因为变换而丢失。

为什么呢？我们不妨假设矩阵$A=(\boldsymbol{\alpha_1},\boldsymbol{\alpha_2},\boldsymbol{\alpha_3})$，其中$\boldsymbol{\alpha_1},\boldsymbol{\alpha_2}$线性无关，而$\boldsymbol{\alpha_3}$可以由$\boldsymbol{\alpha_1},\boldsymbol{\alpha_2}$线性表示。即

$$\boldsymbol{\alpha_3}=c_1\boldsymbol{\alpha_1}+c_2\boldsymbol{\alpha_2}$$

在这个三维空间中存在一组基向量$\boldsymbol{e_1},\boldsymbol{e_2},\boldsymbol{e_3}$，显然这三个基向量互相线性无关。

我们将$A$作用于基向量。由于向量乘基向量只会保留其中的一个维度的值，那么矩阵乘基向量只能保留其中的一个列向量，我们可以得到

$$\begin{aligned} Ae_1&=\boldsymbol{\alpha_1}\\ Ae_2&=\boldsymbol{\alpha_2}\\ Ae_3&=\boldsymbol{\alpha_3} \end{aligned}$$

此时神奇的事情发生了，经过$A$作用的$A\boldsymbol{e_3}$可以由$\boldsymbol{\alpha_1},\boldsymbol{\alpha_2}$，也就是$Ae_1$和$Ae_2$线性表示了！

也就是这个方向的向量失去了独立性。

也就是，假设三阶矩阵 (A) 的秩为 2，意味着三维输入中的 3 个独立变化方向，经过 (A) 变换后，只能产生 2 个线性无关的输出方向。

并且，令$v=e_3-c_1e_1-c_2e_2$，那么

$$Av=A(e_3-c_1e_1-c_2e_2)=\boldsymbol{\alpha_3}-c_1\boldsymbol{\alpha_1}-c_2\boldsymbol{\alpha_2}=0$$

也就是说有某个非零向量经过$A$的变换之后会变成0。

2) 秩和非自由变量

现在我们就能解释，为什么秩和非自由变量总是相等了。

假设 (A) 是 (m\times n) 矩阵：

$$r(A)=r$$

那么它的列空间有 (r) 个线性无关的基向量：

$$a_{p_1},a_{p_2},\ldots,a_{p_r}$$

任何输出都可以唯一表示为：

$$AX=c_1a_{p_1}+\cdots+c_ra_{p_r}$$

对于一组基向量来说，它只能唯一表示某个向量 $b$ ，所以当我们指定输出 (b) 时，这 (r) 个系数就被唯一确定。

于是对于

$$AX=x_1a_1+\cdots+x_na_n=b$$

我们能把后面 (n-r) 个列向量全部替换为前 (r) 个列向量的组合。

整理后，一定能得到：

$$\begin{aligned} &(x_1+f_1(x_{r+1},\ldots,x_n))a_1\\ +{}&(x_2+f_2(x_{r+1},\ldots,x_n))a_2\\ &\qquad\vdots\\ +{}&(x_r+f_r(x_{r+1},\ldots,x_n))a_r=b \end{aligned}$$

这里 (f_1,\ldots,f_r) 都是自由变量的线性组合。

我们就能选出 $x_1, x_2, ... , x_r$ 这 $r$ 个非自由变量，在每个向量的系数确定的情况下，它由自由变量 $x_{r+1}$ ～ $x_n$决定值。

二、齐次线性方程组

我们将线性方程组的常数项 $b$ 全部归零，就得到了齐次线性方程组。

记作

$$\boxed{AX=0}$$

它有一个很神奇的性质，就是当 $A$ 列满秩时，$X$ 只有零解。

这其实很好理解，毕竟方程可以视作

$$\alpha_1x_1+\alpha_2x_2+...+\alpha_nx_n=0$$

而 $A$ 列满秩时，这些向量都互相线性无关。根据线性无关的定义，向量的系数 $x_i$ 就只能取 $0$ 。

1. 基础解系

老实归零，很无趣吧？

那么，当 $A$ 不满秩时，齐次线性方程组一定有无穷多解。

从线性相关性来看，$A$ 不满秩，说明 $(\alpha_1, \alpha_2,...,\alpha_n)$ 线性相关，而线性相关的一组向量一定存在一组不全为 $0$ 的系数，使

$$\alpha_1x_1+\alpha_2x_2+...+\alpha_nx_n=0$$

所有的这些系数组成的全部向量，称为该齐次线性方程组的零空间。

由前面的思路我们能得到，假设 $r(A)=r$ 那么可以将这个式子划为

$$\begin{aligned} &(x_1+f_1(x_{r+1},\ldots,x_n))a_1\\ +{}&(x_2+f_2(x_{r+1},\ldots,x_n))a_2\\ &\qquad\vdots\\ +{}&(x_r+f_r(x_{r+1},\ldots,x_n))a_r=0 \end{aligned}$$

由于这 $r$ 个向量互相线性无关，那么所有向量的系数就只能取 $0$ 才能满足等式，所以

$$\begin{aligned} &x_1+f_1(x_{r+1},\ldots,x_n)=0\\ {}&x_2+f_2(x_{r+1},\ldots,x_n)=0\\ &\qquad\vdots\\ {}&x_r+f_r(x_{r+1},\ldots,x_n)=0 \end{aligned}$$

$x_1, x_2, ... , x_r$ 这 $r$ 个非自由变量均能由后面 $n-r$ 个自由变量表示。

也就是说，向量 $X$ 可以表示为：

$$X=x_{r+1}\begin{pmatrix} a \\ b \\... \\ c \end{pmatrix}+x_{r+2}\begin{pmatrix} d \\ e \\... \\ f \end{pmatrix}+...$$

这就称为齐次线性方程组的通解。而这些线性无关的向量的集合则是该方程组的基础解系。

由此也得到了一个很重要的结论：

$$\boxed{基础解系的向量个数=n-r(A)}$$

看着很诡异？确实。从这个角度推出基础解系是一个小众b才会做的事情😰，而我从这个角度解释的原因其实是……

我不知道该怎么强行把它和前面的内容串起来了（挨打）。

所以我们来看个实际的例子：

考虑齐次线性方程组：

$$\begin{cases} x_1+x_2+x_3=0\\ x_2+x_3=0 \end{cases}$$

整理得：

$$\begin{cases} x_1=0\\ x_2=-x_3 \end{cases}$$

令自由变量 (x_3=t)，那么：

$$X=\begin{pmatrix}0\\-t\\t\end{pmatrix} =t\begin{pmatrix}0\\-1\\1\end{pmatrix}$$

其中 (t) 可以是任意实数。

这说明，虽然方程组有无穷多个解，但这些解全部可以由一个向量生成：

$$\boxed{\xi_1=\begin{pmatrix}0\\-1\\1\end{pmatrix}}$$

那么方程组的基础解系就是：({\xi_1}) 。

2. 矩阵对解系的影响

试想，现在有一个线性方程组

$$AX=0$$

我们用另一个矩阵 $B$ 去作用于它

$$BAX=0$$

那么它的基础解系会如何变化呢？

首先最直观的，由于 $AX=0$ ，那么肯定有

$$BAX=B0=0$$

这说明，能让 $AX$ 取 0 的解，一定能让 $BAX$ 取零，换言之，$AX=0$ 的零空间被 $BAX=0$ 的零空间所包含。

$$\boxed{\ker(A)\subseteq\ker(BA)}$$

$\ker(A)$ 表示齐次线性方程组 $AX=0$ 的零空间。即所有的非零解。

相同的零空间

接下来出现了一个特殊情况。当 $r(BA)=r(A)$ 时，它们俩的零空间相同。

其实这从数学推理的角度是显然的，因为若 $r(BA)=r(A)$，则

$$\dim\ker(BA)=n-r(BA)=n-r(A)=\dim\ker(A)$$

$\dim$ 表示维度，$\dim\ker(A)$ 表示矩阵 $A$ 零空间的维度，即基础解系中向量的个数。

这说明，两个齐次方程组的基础解系，都恰好包含 (n-r) 个向量。结合我们之前的推论 $\ker(A)\subseteq\ker(BA)$ ，可以得出两个方程组的零空间相同。

但这只是两个定理恰好碰到一起形成的巧合吗？显然不是。我们可以从矩阵和线性方程组性质的角度去理解这一现象。

我们知道矩阵乘法是由右向左的，于是对于 $BAX$ 有

$$X\xrightarrow{A}Y\xrightarrow{B}Z$$

也就是 $X$ 经过 $A$ 的线性变换，变成了向量 $Y$，再经过 $B$ 的线性变换变为向量 $Z$ 。

而 $r(BA)=r(A)$ 则表明，$X$ 在经过 $A$ 和经过 $BA$ 时，得以保留下来的维数信息一致。换言之，$B$ 不会丢失更多的输入信息。

这也就是矩阵 $B$ 在 $A$ 的输出空间上具有单射性。

另外，$r(BA)=r(A)$ 并不要求 $B$ 列满秩，只要求 $B$ 对 $A$ 可能产生的那些输出不丢失信息即可。

三、非齐次线性方程组

线性方程组中，除了齐次线性方程组还有哪些？

还有不是齐次线性方程组。（挨打）

非齐次线性方程组指那些常数项不为 $0$ 的方程组，记作

$$\boxed{AX=b}$$

我们通常通过比较系数矩阵的秩和增广矩阵的秩来判断非齐次线性方程组是否有解。

最简单的

$$\begin{pmatrix} \begin{array}{cc|c} 1 & 1 & 3\\ 0 & 0 & 1 \end{array} \end{pmatrix}$$

出现了 $0+0=1$ ，那它肯定无解。也就是当系数矩阵的秩小于增广矩阵的秩时，方程组无解。

非齐次线性方程组的通解

对于非齐次方程组，它有一个很有意思的特性。那就是任意两个特解的差等于对应齐次方程组的解。

也就是说，假设非齐次方程组有两个不同的解 $\eta_1$ 和 $\eta_2$，那么必有

$$\begin{aligned} A\eta_1-A\eta_2&=b-b \\ A(\eta_1-\eta_2)&=0 \end{aligned}$$

我们可以把 $(\eta_1-\eta_2)$ 视为 $\xi$，那么原式就是

$$A\xi=0$$

正好就是一个齐次方程组的解。

那我们由此推广，假设 $X$ 是 $AX=b$ 的任意一个解，$\eta$ 是非齐次的一个特解。我们知道，对于他俩有

$$A(X-\eta)=0$$

也就是说对任意 $X-\eta$ 都是齐次解。

由此可得出，由齐次的通解 $\xi$ 加上非齐次特解 $\eta$ 可以得到非齐次的通解。