前言

本文将介绍正交基、正交矩阵、与施密特正交化算法。正交是向量中一种非常好的性质，意味着两个向量互相之间没有冗余，也容易被区分。

一、标准正交基

前面我们学习过，一个向量空间的基是指张成该空间的极大线性无关组。例如$[1,0,0],[1,1,0],[1,1,1]$便是张成$R^3$空间的一组基，该空间中的任意向量均可由这组向量进行线性表示。

所谓标准正交基，是指满足特殊条件的一组基：

1. 每个基向量均为单位向量，模长为1，即$|{\mathbf{a}}_i|=\sqrt{{\mathbf{a}}_i^T{\mathbf{a}}_i}=1$
2. 任意两个基向量相互正交，即${\mathbf{a}}_i^T{\mathbf{a}}_j=0$

特别的，如果仅满足条件2）则称为正交基，而不是标准正交基。使用标准正交基来进行向量表示具有许多好处，例如，其表示的向量的模长可仅通过线性表示系数计算得到。假设我们有一组标准正交基${\mathbf{a}}_1,\dots ,{\mathbf{a}}_i,\dots ,{\mathbf{a}}_n$，任意该空间中的向量$\mathbf{b}$可被线性表示为

$\mathbf{b}=x_1{\mathbf{a}}_1+\dots +x_i{\mathbf{a}}_i+x_n{\mathbf{a}}_n$
$|\mathbf{b}{|}^2={\mathbf{b}}^T\mathbf{b}=(x_1{\mathbf{a}}_1+\dots +x_i{\mathbf{a}}_i+x_n{\mathbf{a}}_n{)}^T(x_1{\mathbf{a}}_1+\dots +x_i{\mathbf{a}}_i+x_n{\mathbf{a}}_n)$
带入上述标准正交基的性质，可得
$|\mathbf{b}{|}^2={\sum }_i^N{x}_i^2$

二、施密特正交化

$R^3$的一组朴素的标准正交基为$[1,0,0],[0,1,0],[0,0,1]$，不过这并非该空间唯一的标准正交基。那么，能否由任意给定的一组普通的基，来构造一组标准正交基呢？施密特正交化便是做了这样一件事。

假设有一组普通的基${\mathbf{a}}_1,\dots ,{\mathbf{a}}_i,\dots ,{\mathbf{a}}_n$，我们要以其为基础构建一组该空间的标准正交基。下面我们来分析一下应该如何去做：单位化简单，只要将每个基向量除以自身的模长即可；正交化怎么去做呢？

这里就要回想到上文所学的子空间投影了，我们已知：向量与子空间投影的差，正交于该子空间。那么我如果们对该组基向量依次做处理，使得每次当前处理得到的向量，与先前已处理的向量构成的子空间正交，便能保证当前处理得到的向量与先前所有向量的正交性。而先前已处理的向量之间的正交性则可由之前的正交化操作保证。由此，所有向量之间均正交。不断构造投影，做差，找到正交于子空间的向量，这就是施密特正交化的思路。

下面，我们正式阐述施密特正交化的过程，首先我们任选一个向量开始，不妨就以${\mathbf{a}}_1$开始，对其进行单位化：

${\mathbf{a}}_1^{\ast }={\mathbf{a}}_1/|{\mathbf{a}}_1|$。

然后，我们找到向量${\mathbf{a}}_2$，使其与${\mathbf{a}}_1^{\prime }$正交，也就是做其与投影之差：

${\mathbf{a}}_2^{\prime }={\mathbf{a}}_2-\mathbf{P}{\mathbf{a}}_2$

再进行单位化：

${\mathbf{a}}_2^{\ast }={\mathbf{a}}_2^{\prime }/|{\mathbf{a}}_2^{\prime }|$

其中，$\mathbf{P}={\mathbf{A}}^T({\mathbf{AA}}^T{)}^{-1}\mathbf{A}$为投影矩阵，矩阵$\mathbf{A}$中的行向量为已处理向量${\mathbf{a}}_1^{\ast T}$。

随后继续重复上述操作，只是投影矩阵$\mathbf{P}$不断加入新处理好的行向量即可。此外，观察投影矩阵的计算，不难发现，${\mathbf{AA}}^T=\mathbf{I}$总是等于单位阵（行数与已处理向量数目相同），这是由于基向量之间的正交性，非主对角线上的元素都成立0，而主对角线上的元素都是1，因此该投影矩阵可以化简为$\mathbf{P}={\mathbf{A}}^T\mathbf{A}$。

也就是说，如果我们找到子空间的一组标准正交基，那么以该组基进行投影计算得到的投影矩阵均可化简为$\mathbf{P}={\mathbf{A}}^T\mathbf{A}$。 这也是为什么在施密特正交化的每一步都进行单位化操作，而不是全部正交化以后再进行单位化。

三、 正交矩阵

进一步扩展上述观察，如果我们把一组标准正交基放入矩阵，若该矩阵是一个方阵，则该方阵必然可逆，且其逆矩阵就是它的转置。因此我们有：由标准正交基构成的方阵$\mathbf{A}$一定是可逆矩阵，我们称之为正交矩阵。

由此，我们可以很方便地找到矩阵的逆，也就可以很轻松的进行$\mathbf{Ax}=\mathbf{b}$的求解了，即$\mathbf{x}={\mathbf{A}}^{-1}\mathbf{b}={\mathbf{A}}^T\mathbf{b}$

总结

本文介绍了标准正交基的性质，并给出了构造标准正交基的方法，最后引申出正交矩阵的概念。