对于线性方程组，解的判别条件如下：
1. $A\mathbf x=\mathbf 0$ 总有解，至少有零解
2. $A_{m\times n}\mathbf x=\mathbf 0$
　当$r(A)=n$，只有零解
　当$r(A)<n$，有无穷多解
3. $A_{m\times n}\mathbf x=\mathbf b$
　当$r(A)\neq r(A|\mathbf b)$，无解
　当$r(A)=r(A|\mathbf b)=n$，有唯一解
　当$r(A)=r(A|\mathbf b)=r<n$，有无穷多解

　　我一般我们会面临形如$A_{m\times n}\mathbf x=\mathbf b$的方程。我们考虑测量数据和我们需要的解的参数之间的关系，该方程的解可以分为以下几种情况：

1. 如果$m<n$，未知数大于方程数。那么解不唯一，存在一个解矢量空间。
2. 如果$m=n$，那么只要$A$可逆（非奇异，也就是满秩）就有唯一解，解为$\mathbf x=A^{-1}\mathbf b$。
3. 如果$m>n$，方程数大于未知数。方程一般没有解，除非$\mathbf b$属于$A$的列向量组成的子空间。

　　我们考虑$m\ge n$并且$r(A)=n$的情况。如果解不存在，我们找一个最接近$A_{m\times n}\mathbf x=\mathbf b$的解矢量仍然有意义，这个方程成为超定方程（方程大于未知数）。也就是说，我们寻找一个向量$\mathbf x$使得 $\lVert A\mathbf x-\mathbf b\rVert$最小，这里的$\lVert\bullet\rVert$表示矢量范数。这样的$\mathbf x$称为该超定方程组的最小二乘解。接下来讨论三种解最小二乘的方法，分别用奇异值分解、正规方程、QR分解。

奇异值分解

　　奇异值分解（SVD）是最有用的矩阵分解方法中的一种。给定一个矩阵$A_{m\times n}(m\ge n)$，存在一个正交矩阵$U_{m\times m}$和$V_{n\times n}$，有