在拙作《机器学习数学基础》中，对于机器学习直接相关的线性代数的内容做了比较详细的讲解，但是，由于书中是以“机器学习”为核心，而非“线性代数”，所以对其中的更基本的内容没有深入探究。为了让有兴趣深入学习的读者对线性代数“更上层楼”，此处再补充线性代数的基本定理。

线性代数的核心问题是向量空间的线性变换，向量空间是线性代数的研究对象，线性变换是研究向量空间的基本方法。线性变换将一个向量空间的子空间映射到另一个向量空间中的子空间。

Gilbert Strang在著作《The Fundamental Theorem of Linear Algebra》中提出线性代数有四个基本定理。本文的秩-零化度定理是其中的第一个。

以下关于秩-零化度定理（rank-nullity theorem）的阐述。以下内容主要参考文献 [2]。

如下图所示，线性变换 $T:\mathbb{V}\to \mathbb{W}$ ，$\mathbb{V}$ 是有限维向量空间，称为定义域；$T$ 的值域，记作： $R(T)$ ，是 $\mathbb{W}$ 的子集， R ( T ) = { T ( v ) ∣ v ∈ V } R({\pmb{T}})=\{\pmb{T}(\pmb{v})|\pmb{v}\in\mathbb{V}\} R(T)={T(v)∣v∈V}

• 核：若 $\mathbb{V}$ 里面有一个向量集合，其中每个向量 $u$ 经 $T$ 映射之后为零向量，即 $T(u)=0$ ，则此向量集合称为 $T$ 的核（kernel），记作：$\ker (T)$ 。$\text{ker}(T)$ 满足向量加法和数量乘法封闭性，是 $\mathbb{V}$ 的一个子空间。核也称为零空间（nullspace）， ker ⁡ ( T ) = { v ∈ V ∣ T ( v ) = 0 } \ker(\pmb{T})=\{\pmb{v}\in\mathbb{V}|\pmb{T}(\pmb{v})=\pmb{0}\} ker(T)={v∈V∣T(v)=0} 。

• 零化度：核的维度（dimension），称为零化度（nullity），记作：$\dim \ker (T)$ 。可以度量核的大小。

• 秩：线性变换 $T$ 的值域的维度，称为秩（rank），记作：$\text{rank}T=\dim R(T)$ 。

秩—零化度定理

$$\dim \mathbb{V}=\dim \ker (T)+\text{rank}T$$

其中： $\dim \mathbb{V}$ 是线性变换 $T$ 的定义域、向量空间 $\mathbb{V}$ 的维度；$\dim \ker (T)$ 是核的维度，即零化度；$\text{rank}T$ 是值域的维度，即秩。

证明

证明1：通过矩阵

将线性变换 $T:\mathbb{V}\to \mathbb{W}$ 用 $m\times n$ 的矩阵 $A$ 表示，其中：$n=\dim \mathbb{V},m=\dim \mathbb{W}$ 。

线性变换 $T$ 的核 $\ker (T)$ 即为矩阵的零空间（null space）$N(A)$ ，它的维度即矩阵的零化度，记作 $\dim N(A)$ 。关于零空间的详细内容，请阅读参考资料 [4]。

值域 $R(T)$ 即为矩阵的列空间（column space）$C(A)$ 。

将矩阵 $A$ 化简为行梯形形式，用分块矩阵表示为：

$$R=\left[\begin{array}{cc}{I}_r& F\\ 0& 0\end{array}\right]$$
其中 $R$ 的秩 $r=\text{rank}R$ ，$F$ 是 $r\times (n-r)$ 阶矩阵。

因为矩阵行运算不改变轴数量，也不改变零空间，所以：$\text{rank}A=\text{rank}R=r$ 且 $N(A)=N(R)$ 。

根据 $R$ 的形状，写出 $n\times (n-r)$ 阶零空间矩阵 $P$ ：

$$P=\left[\begin{array}{c}-F\\ I_{n-r}\end{array}\right]$$
用上述结果可以计算得到 $RP=0$ ，故确认 $P$ 是零空间矩阵。

$$RP=\left[\begin{array}{cc}{I}_r& F\\ 0& 0\end{array}\right]\left[\begin{array}{c}-F\\ I_{n-r}\end{array}\right]=\left[\begin{array}{c}-F+F\\ 0+0\end{array}\right]=0$$
设 $x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$ ，其中 $x_1$ 是 $r$ 维向量，$x_2$ 是 $n-r$ 维向量，欲使 $Rx=0$ 成立，即：

$$Rx=\left[\begin{array}{cc}{I}_r& F\\ 0& 0\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]=\left[\begin{array}{c}{x}_1+{Fx}_2\\ 0\end{array}\right]=0$$
所以：$x_1=-{Fx}_2$ ，

于是：$x=\left[\begin{array}{c}-{Fx}_2\\ x_2\end{array}\right]=\left[\begin{array}{c}-F\\ I_{n-r}\end{array}\right]x_2={Px}_2$

所以：$C(P)=N(R)$

即：$\dim N(R)=\dim C(P)=n-r$ 。从而证明：

$$n=\dim N(A)+\text{rank}A$$
$m\times n$ 的矩阵 $A$ 的秩 $\text{rank}A$ 和零化度 $\dim N(A)$ 之和等于 $n$

证明2：线性变换的向量空间分析

令 $\dim \mathbb{V}=n,\dim \ker (T)=p,p\le n$ 。

设 $\ker (T)$ 的一组基底为 { u 1 , ⋯   , u p } \{\pmb{u}_1,\cdots,\pmb{u}_p\} {u1​,⋯,up​} ，扩充此基底为向量空间 $\mathbb{V}$ 的基底 { u 1 , ⋯   , u p , w 1 , ⋯   , w r } \{\pmb{u}_1,\cdots,\pmb{u}_p,\pmb{w}_1,\cdots,\pmb{w}_r\} {u1​,⋯,up​,w1​,⋯,wr​} 且 $n=p+r$。

向量空间 $\mathbb{V}$ 中任一向量 $v$ 可表示为基底向量的唯一线性组合：

$$v=a_1{u}_1+\cdots +a_p{u}_p+b_1{w}_1+\cdots +b_r{w}_r$$
因为 $T(u)=0$ ，即 $T(u_1)=\cdots =T(u_p)=0$ （如下图所示）

所以：

$$\begin{array}{rl}T(v)& =T(a_1{u}_1+\cdots +a_p{u}_p+b_1{w}_1+\cdots +b_r{w}_r)\\ & =a_{1}T(u_1)+\cdots +a_{p}T(u_p)+b_{1}T(w_1)+\cdots +b_{r}T(w_r)\\ & =b_{1}T(w_1)+\cdots +b_{r}T(w_r)\end{array}$$
$T(w_1),\cdots ,T(w_r)$ 张成了值域空间 $R(T)$ 。

设：$c_{1}T(w_1)+\cdots +c_{r}T(w_r)=0$ ，也可以写成：$T(c_1{w}_1+\cdots +c_r{w}_r)=0$ ，所以 $c_1{w}_1+\cdots +c_r{w}_r$ 属于零空间 $\ker (T)$ 。

因为 { u 1 , ⋯   , u p } \{\pmb{u}_1,\cdots,\pmb{u}_p\} {u1​,⋯,up​} 是 $\ker (T)$ 的基底，故可以有如下表达式：

$$c_1{w}_1+\cdots +c_r{w}_r=d_1{u}_1+\cdots +d_p{u}_p$$
又因为 { u 1 , ⋯   , u p , w 1 , ⋯   , w r } \{\pmb{u}_1,\cdots,\pmb{u}_p,\pmb{w}_1,\cdots,\pmb{w}_r\} {u1​,⋯,up​,w1​,⋯,wr​} 是 $\mathbb{V}$ 的基，也就是各个向量之间线性无关，所以上式中的系数都是 $0$ 。

故 $T(w_1),\cdots ,T(w_r)$ 是线性无关的向量集合，是 $\text{rank}(T)$ 的基。

所以：$r=\dim R(T)=\text{rank}T$

由 $n=p+r$ 以及前面的假设，可得：

$$\dim \mathbb{V}=\dim \ker (T)+\text{rank}T$$

推论

• 若 $\dim \mathbb{V}>\dim \mathbb{W}$ ，则：

  $$\dim \ker (T)=\dim \mathbb{V}-\dim R(T)\ge \dim \mathbb{V}-\dim \mathbb{W}>0$$
  即存在非零向量 $x\in \mathbb{V}$ 使得 $T(x)=0$ ，或曰 $T$ 不是一对一（因为 $T(0)=0$ ）。

• 若 $\dim \mathbb{V}<\dim \mathbb{W}$ ，则：

  $$\dim R(T)=\dim \mathbb{V}-\dim \ker (T)\le \dim \mathbb{V}<\dim \mathbb{W}$$

  即存在非零向量 $y\in \mathbb{W}$ 使得 $y\notin R(T)$ ，或曰 $T$ 不是满射。

如果用矩阵表述：将线性变换 $T:\mathbb{V}\to \mathbb{W}$ 用 $m\times n$ 的矩阵 $A$ 表示，其中：$n=\dim \mathbb{V},m=\dim \mathbb{W}$ 。

• $n>m$ ，则：$\dim N(A)=n-\dim C(A)\ge n-m>0$ 。即零空间 $N(A)$ 包含非零向量，或者说 $Ax=0$ 有无穷多组解。
• $n<m$ ，则：$\dim C(A)=n-\dim N(A)\le n<m$ 。即列空间 $C(A)$ 未能充满整个 ${\mathbb{R}}^m$ （或 ${\mathbb{C}}^m$），或者说 $Ax=b$ 不总是有解。

进一步理解

此定理说明了线性变换前后的空间维数变化。变换后的空间维数如果相对变换前的空间维数减少了——不可能增加，说明变换前的空间经过变换之后出现了“零输出”，零空间 $\ker (T)\in \mathbb{V}$ 就是产生“零输出”（即零向量）的变换前的向量集合。

“秩—零化度定理”即“维数守恒定律”，

变换前的空间维数 = 零空间的维数 + 变换后的空间维数

参考文献

[1]. Gilbert Strang, The Fundamental Theorem of Linear Algebra, American Mathematical Monthly, 100, 1993, 848-855.

[2]. https://ccjou.wordpress.com/2009/03/23/線性代數基本定理-一

[3]. https://zh.wikipedia.org/wiki/秩－零化度定理