（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）

1. 向量空间

1.1 定义和例子

在数学中，空间这个概念本质上是满足一定条件的集合。而向量空间，总的来说，就是定义了加法和数乘这两种运算的集合。

1.1.1 集合

【定义】集合（$\mathbf{S}$）是指具有某种特定性质的总体。

• 比如说，把所有整数放在一起定义整数集 Z = { ⋯   , − 1 , 0 , 1 , ⋯   } \mathbb{Z}=\{\cdots,-1,0,1,\cdots\} Z={⋯,−1,0,1,⋯}.
• 实数集$\mathbb{R}$.
• 有限集合，比如 { 1 , 3 , 4 } \{1,3,4\} {1,3,4}.

1.1.2 阿贝尔群

在一个集合之上定义加法运算$\mathbf{S}\times \mathbf{S}\to \mathbf{S}$（这是笛卡尔积，在笛卡尔积中，每个元素都与另一个集合中的每个元素形成一对，这样就生成了所有可能的组合。这里如果非要看懂详见本人文章：【数学分析笔记】第1章第1节：集合（3））：

• 交换律：$w+v=v+w$；
• 结合律：$(u+v)+w=u+(v+w)$；
• 加法恒等：$v+0=v$
• 加法逆元：$v+(-v)=0$

满足上述四条加法运算规则的集合就是阿贝尔群（$\mathbf{A},+$）。典型的例子有：

• 定义了加法运算的整数集 { Z , + } : 2 + 1 = 3 \{\mathbb{Z},+\}:2+1=3 {Z,+}:2+1=3；
• 定义了加法运算的实数集 { R , + } : 3.1 + 1.3 = 4.4 \{\mathbb{R}, +\}:3.1+1.3=4.4 {R,+}:3.1+1.3=4.4.

1.1.3 向量空间

在阿贝尔群之上如果再定义一个数乘运算：$\mathbb{R}\times \mathbf{V}\to \mathbf{V}$，并且数乘运算的各种性质：

• $\lambda (u+v)=\lambda u+\lambda v$
• $(\lambda +\mu )v=\lambda v+\mu v$
• $(\lambda \mu )v=\lambda (\mu v)$
• $1\cdot v=v$

满足上述性质，就得到了向量空间（$\mathbf{V},+,\mathbb{R}$）。所谓数乘元素，就是让一个元素和一个实数相乘。典型的例子：

• $n$维实数空间，一般记作${\mathbb{R}}^n,n⩾1,n\in \mathbb{Z}$，（${\mathbb{R}}^n,+,\mathbb{R}$）；
• 当$n=3$的时候，我们的$n$维实数空间就可以想象成一个取定坐标系的三维空间（${\mathbb{R}}^3,+,\mathbb{R}$）
  
  $x,y,z$轴代表空间里面的三个坐标轴，原点用一个$O$来表示。空间中的任意一个点$P$可以用一组实数列表来表示，实数列表中的每一个值代表空间当中的点在每个坐标轴上的投影。

1.2 向量及其运算。

1.2.1 向量及其表示方式

向量空间中的元素就叫向量。（可以比做一个装苹果的箱子和箱子中的苹果的关系，如果向量是苹果，那么向量空间就是装苹果的箱子）
在低维实数空间中，向量可以被想成是一个起点在坐标原点，有长度有方向的箭头。但在高维空间中我们就没法想象了，因为我们自己都不知道高维空间长什么样子。
所以，对于每一个向量，一个更通用的表示方式是可以用一个$n$维实数列表表示，比如$\left[\begin{array}{c}{v}_1\\ v_2\\ \cdots \\ v_n\end{array}\right]$或$[v_1,v_2,\cdots ,v_n]$，前者叫列向量，后者叫行向量，其中第$i$个数$v_i$称为该向量的第$i$个分量。数学上，向量一般也用粗体的字母，比如$\mathbf{V}$，或者加右箭头的小写字母比如$\vec{v}$来表示。

1.2.2 向量的运算

向量的运算主要包括加法和数乘（以列向量为例）：

• 加法：$\left[\begin{array}{c}{v}_1\\ v_2\\ \cdots \\ v_n\end{array}\right]+\left[\begin{array}{c}{w}_1\\ w_1\\ \cdots \\ w_n\end{array}\right]=\left[\begin{array}{c}{v}_1+w_1\\ v_2+w_2\\ \cdots \\ v_n+w_n\end{array}\right]$，从几何角度理解就是：把其中一个向量的箭头尾部放到另外一个向量的箭头上进行平移，首尾向量得到的向量就是相加的结果。
  

• 数乘：$\lambda \left[\begin{array}{c}{v}_1\\ v_2\\ \dots \\ v_n\end{array}\right]=\left[\begin{array}{c}\lambda w_1\\ \lambda w_1\\ \dots \\ \lambda w_n\end{array}\right]$，向量的数乘本质上是向量在空间里的伸缩，伸缩的方向和伸缩的长度取决于数乘的数的大小，数是正数，那么方向和之前方向一致，乘负数，方向相反
  
  

1.3 向量组的线性组合

1.3.1 向量组

若干个同维数的列向量（或行向量）所组成的集合叫做向量组。

1.3.2 向量组的线性组合

给定向量组$\mathbf{A}:{\mathbf{a}}_1,{\mathbf{a}}_2,\cdots ,{\mathbf{a}}_m$和一组实数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_m$，那么：

$${\lambda }_1{\mathbf{a}}_1+{\lambda }_2{\mathbf{a}}_2+\cdots +{\lambda }_m{\mathbf{a}}_{\mathrm{m}}$$
就叫做向量组$\mathbf{A}$的线性组合。这个式子就是我们刚才提到的向量数乘和加法运算复合而来的。

1.3.3 向量组的线性表示（线性组合）

如果存在一个向量$\mathbf{b}$，使得：
$$\mathbf{b}={\lambda }_1{\mathbf{a}}_1+{\lambda }_2{\mathbf{a}}_2+\cdots +{\lambda }_m{\mathbf{a}}_{\mathrm{m}}$$
则向量$\mathbf{b}$是向量组$\mathbf{A}$的线性组合，这时也叫向量$\mathbf{b}$能由向量组$\mathbf{A}$线性表示。
向量的线性组合能够帮助我们理解后面我们要学到的基的这个概念。
向量空间中的任何一个向量，都可以看做是对基向量的缩放和相加操作，都可以写成两个基向量的线性组合，比如图中的$3\vec{i}$.


线性组合的概念也可以帮助我们理解Span（张成空间）这个概念，假设空间中有两个向量$\vec{v}$和$\vec{w}$，它们的线性组合即${\lambda }_1\vec{v}+{\lambda }_2\vec{w}$，形成的新向量，可能充满整个向量空间（不断地调整${\lambda }_1$和${\lambda }_2$的大小，可以形成很多的新向量），由这无数个新向量组成的集合称为张成空间：

1.4 向量组的线性相关性

给定向量组$\mathbf{A}:{\mathbf{a}}_1,{\mathbf{a}}_2,\dots ,{\mathbf{a}}_{\mathrm{m}}$，如果存在不全为零的数${\lambda }_1,{\lambda }_2\cdots ,{\lambda }_m$，使得：
$${\lambda }_1{\mathbf{a}}_1+{\lambda }_2{\mathbf{a}}_2+\cdots +{\lambda }_m{\mathbf{a}}_{\mathrm{m}}=0$$
则称向量组$\mathbf{A}$是线性相关的，否则称它为线性无关。
如下图：

如果$\vec{v}$和$\vec{w}$形成一个夹角，无论怎么对$\vec{v}$和$\vec{w}$进行伸缩或者相加，它们都不可能得到零向量，除非你让$\vec{v}$和$\vec{w}$都伸缩到零向量，然后再让它们相加，它们才是零向量，这种情况下就是线性无关的；另外一种情况，$\vec{v}$和$\vec{w}$在同一条线上，把任何一个向量拉伸到反方向，就和另一个向量相加变为零向量了，这就是线性相关。