1. 最小二乘
\(Ax=b\) 经常会没有解,当方程个数大于未知数个数,也即 \(m>n\) 时,列空间并不是 \(R^m\) 空间的全部,因此 \(b\) 可能不在列空间中,这时候方程组就无解,但我们不应该就此而停止。
也就是误差 \(e = b-Ax\) 并不总是能得到 0,这时候,如果误差 \(e\) 的长度尽可能的小,那我们就得到了最小二乘解 \(\hat x\)。
当 \(Ax=b\) 无解的时候,我们乘以 \(A^T\) 来求解 \(A^TAx=A^Tb\)。
假如我们要找到一条直线,让它距离 (0, 6) ,(1, 0),(2, 0) 这三点最近。没有直线 \(b = C+Dt\) 同时穿过这三点,我们要找的两个常数 \(C\)