子空间投影是线性代数重要的概念,最小二乘法是一个重要的应用,本文从理论证明和子空间投影两个方向理解。
文章目录
一、矩阵乘法
在学矩阵乘法时接触最多的是,矩阵的每一行乘以矩阵的每一列。然而,我们可以从另外一个角度来理解矩阵的乘法,这对于从线性组合的角度理解线性空间是非常有帮助的。
首先我们先考虑矩阵和列向量相乘
( 2 1 3 1 1 4 2 1 3 ) × ( 2 1 2 ) = 2 × ( 2 1 2 ) + 1 × ( 1 1 1 ) + 2 × ( 3 4 3 ) \left( \begin{matrix} 2 & 1 & 3\\ 1 & 1 &4 \\ 2 & 1 & 3\\ \end{matrix} \right) \times \left( \begin{matrix} 2 \\ 1 \\ 2 \\ \end{matrix} \right) = 2 \times \left( \begin{matrix} 2 \\ 1 \\ 2 \\ \end{matrix} \right) + 1 \times \left( \begin{matrix} 1 \\ 1 \\ 1 \\ \end{matrix} \right) + 2 \times \left( \begin{matrix} 3 \\ 4 \\ 3\\ \end{matrix} \right) ⎝⎛212111343⎠⎞×⎝⎛212⎠⎞=2×⎝⎛212⎠⎞+1×⎝⎛111⎠⎞+2×⎝⎛343⎠⎞
有了矩阵乘以列向量的乘法,那么矩阵乘以矩阵,无非是将左边矩阵依次乘以右边的矩阵的每一列。那么矩阵乘以矩阵有什么几何意义呢?请参考矩阵秩的几何意义。
二、直观理解 A x = b Ax=b Ax=b是否有解
1. 线性组合理解非齐次线性方程解情况
在书中通过判断 R ( A ) R(A) R(A)与 R ( A , b ) R(A,b) R(A,b)的关系来判断解的情况,我们可以这样直观理解,矩阵 A A A 按列展开
A m , n = ( α 1 , α 2 , … , α n ) A x = x 1 a 1 + x 2 a 2 + . . . + x n a n = b A_{m,n}=(\alpha_1,\alpha_2,\dots, \alpha_n) \newline \ \ \\ Ax=x_1a_1+x_2a_2+...+x_na_n=b Am,n=(α1,α2,…,αn) Ax=x1a1+x2a2+...+xnan=b
如果 b b b 恰好落在由 α 1 , α 2 , … , α n \alpha_1 ,\alpha_2, \dots, \alpha_n α1,α2,…,αn 生成的空间中,那么必定存在 x 1 , … , x n x_1,\dots,x_n x1,…,xn 能够把 b b b 线性表出, ξ = ( x 1 , … , x n ) T \xi = (x_1,\dots,x_n)^T ξ=(x1,…,xn)T 就是 A x = b Ax=b Ax=b的解。
2.举例说明
- 二维情况
A x = b Ax=b Ax=b,其中 A = ( 1 2 1 2 ) b = ( 1 2 ) A= \left( \begin{matrix} 1 & 2 \\ 1 & 2 \end{matrix} \right) \ \ \ \ \ \ \ \ b= \left( \begin{matrix} 1 \\ 2 \end{matrix} \right) A=(1122) b=(12)
这里我们说 A x = b Ax=b Ax=b无解
A x = x 1 ( 1 1 ) + x 2 ( 2 2 ) Ax=x_1 \left( \begin{matrix} 1 \\ 1 \end{matrix} \right) + x_2 \left( \begin{matrix} 2 \\ 2 \end{matrix} \right) Ax=x1(11)+x2(22)
因为 A x Ax Ax张成的空间是一条 y = x y=x y=x的直线,只要 b b b向量没有恰好落在直线 y = x y=x y=x上,那么方程就无解。如果 c = ( 3 , 3 ) T c=(3,3)^T c=(3,3)T,那么很幸运,向量 c c c 刚好落在由 A x Ax Ax 张成的空间中,有解。