数学基础 -- 线性代数之奇异值

奇异值与其应用

1. 奇异值定义

对于任意的矩阵 $A$ （可以是方阵或非方阵），存在三个矩阵 $U$ 、 $\Sigma$ 和 $V$ ，使得：
$\Sigma V^T$
其中：

$U$ 是一个 $\times m$ 的正交矩阵，表示左奇异向量；
$V$ 是一个 $\times n$ 的正交矩阵，表示右奇异向量；
$\Sigma$ 是一个 $\times n$ 的对角矩阵，其中对角线上的元素为奇异值。

2. 奇异值的性质

非负性：奇异值始终为非负数，即对角矩阵 $\Sigma$ 的对角元素均为非负。
奇异值的数量：对于一个 $\times n$ 的矩阵 $A$ ，最多有 $\min(m, n)$ 个奇异值。
矩阵的秩：矩阵 $A$ 的秩等于其非零奇异值的数量。
特征值与奇异值的关系：方阵 $A$ 的奇异值是矩阵 $A^T A$ 的特征值的平方根。
不变性：奇异值是矩阵的固有属性，与矩阵的旋转或变换无关。

2.1 奇异值分解的示例

为了更好地理解奇异值分解的具体过程和应用，我们通过一个简单的例子展示如何进行奇异值分解。

示例矩阵

考虑一个 $\times 2$ 的矩阵 $A$ ：
$\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{pmatrix}$

我们将对这个矩阵进行奇异值分解。

1. 计算 $A^T A$

首先，我们计算矩阵 $A^T A$ ：
$A^T A = \begin{pmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}$

2. 求 $A^T A$ 的特征值和特征向量

接下来，我们求矩阵 $A^T A$ 的特征值和特征向量。先写出特征方程：
$\det(A^T A - \lambda I) = \det\begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = 0$
解得特征值为：
$\lambda_1 = 3, \quad \lambda_2 = 1$

对于 $\lambda_1 = 3$ ，解特征方程 $A^T A - 3I)v = 0$ 得到特征向量：
$v_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix}$

对于 $\lambda_2 = 1$ ，解 $A^T A - I)v = 0$ 得到特征向量：
$v_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix}$

因此，矩阵 $V$ 的列向量是特征向量：
$\begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix}$

3. 计算奇异值

奇异值是 $A^T A$ 的特征值的平方根，因此：
$\sigma_1 = \sqrt{3}, \quad \sigma_2 = \sqrt{1} = 1$
因此，矩阵 $\Sigma$ 为：
$\Sigma = \begin{pmatrix} \sqrt{3} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}$

4. 计算 $U$

矩阵 $U$ 的列向量是矩阵 $A$ 的左奇异向量，左奇异向量通过公式 $v_i = \sigma_i u_i$ 计算。

对于 $\sigma_1 = \sqrt{3}$ ，我们有：
$\begin{pmatrix} \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix}, \quad u_1 = \frac{1}{\sqrt{6}} \begin{pmatrix} 1 \\ 1 \\ 2 \end{pmatrix}$

对于 $\sigma_2 = 1$ ，我们有：
$\begin{pmatrix} \frac{1}{\sqrt{2}} \\ -\frac{1}{\sqrt{2}} \end{pmatrix} = \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}, \quad u_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \\ 0 \end{pmatrix}$

因此，矩阵 $U$ 为：
$\begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} & 0 \end{pmatrix}$

5. 奇异值分解结果

最终，矩阵 $A$ 的奇异值分解为：
$\Sigma V^T$
其中：
$\begin{pmatrix} \frac{1}{\sqrt{6}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{6}} & -\frac{1}{\sqrt{2}} \\ \frac{2}{\sqrt{6}} & 0 \end{pmatrix}, \quad \Sigma = \begin{pmatrix} \sqrt{3} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}, \quad V^T = \begin{pmatrix} \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \end{pmatrix}$

3. 奇异值分解的应用

3.1 数据降维与压缩

奇异值分解可用于数据降维，特别是在图像处理或主成分分析（PCA）中，通过保留最大的奇异值，能够有效减少数据量，同时保留数据的主要信息。

3.2 最小二乘问题

在解超定方程或病态方程时，奇异值分解能够提供稳定的最小二乘解。通过分解矩阵 $A$ 为奇异值分解形式 $\Sigma V^T$ ，我们可以稳定地求解方程组。

例子：奇异值分解在数据压缩中的应用

1. 问题描述

假设我们有一张大小为 $100 \times 100$ 的灰度图像，用一个矩阵 $A$ 表示，每个元素表示像素的亮度值。我们希望通过奇异值分解对这张图像进行压缩。

2. 奇异值分解

对矩阵 $A$ 进行奇异值分解，得到：
$\Sigma V^T$
其中：

$U$ 是 $100 \times 100$ 的矩阵；
$\Sigma$ 是 $100 \times 100$ 的对角矩阵，包含奇异值；
$V^T$ 是 $100 \times 100$ 的矩阵。

3. 压缩过程

我们只保留最大的 $k = 20$ 个奇异值，构造近似矩阵 $A_k$ ：
$A_k = U_k \Sigma_k V_k^T$
其中：

$U_k$ 是 $100 \times 20$ 的矩阵；
$\Sigma_k$ 是 $20 \times 20$ 的对角矩阵；
$V_k^T$ 是 $20 \times 100$ 的矩阵。

经过压缩后，总数据量从原来的 10,000 个数据点减少到 6400 个数据点。

例子：奇异值分解在最小二乘问题中的应用

1. 问题描述

我们要解一个线性方程组：
$A x = b$
其中 $A$ 是一个 $\times 2$ 的矩阵， $b$ 是一个 $\times 1$ 的已知向量。

矩阵 $A$ 和向量 $b$ 如下：
$\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \end{pmatrix}, \quad b = \begin{pmatrix} 2 \\ 2 \\ 4 \end{pmatrix}$

2. 奇异值分解求解最小二乘问题

我们首先对 $A$ 进行奇异值分解：
$\Sigma V^T$
通过计算得到：
$\begin{pmatrix} -0.577 & 0.707 \\ -0.577 & -0.707 \\ -0.577 & 0.000 \end{pmatrix}, \quad \Sigma = \begin{pmatrix} 1.732 & 0 \\ 0 & 1 \end{pmatrix}, \quad V^T = \begin{pmatrix} -0.707 & -0.707 \\ 0.707 & -0.707 \end{pmatrix}$

2.1 计算 $U^T b$

$U^T b = \begin{pmatrix} -0.577 & -0.577 & -0.577 \\ 0.707 & -0.707 & 0 \end{pmatrix} \begin{pmatrix} 2 \\ 2 \\ 4 \end{pmatrix} = \begin{pmatrix} -4.618 \\ 1.414 \end{pmatrix}$

2.2 解 $\Sigma y = U^T b$

$\Sigma y = \begin{pmatrix} 1.732 & 0 \\ 0 & 1 \end{pmatrix} \begin{pmatrix} y_1 \\ y_2 \end{pmatrix} = \begin{pmatrix} -4.618 \\ 1.414 \end{pmatrix}$
解得：
$y_1 = -2.666, \quad y_2 = 1.414$

2.3 计算 $x = V y$

$\begin{pmatrix} -0.707 & -0.707 \\ 0.707 & -0.707 \end{pmatrix} \begin{pmatrix} -2.666 \\ 1.414 \end{pmatrix} = \begin{pmatrix} 2 \\ 1 \end{pmatrix}$

因此，最小二乘解为 $\begin{pmatrix} 2 \\ 1 \end{pmatrix}$ 。

总结

奇异值分解在数据压缩和最小二乘问题中有广泛的应用。在数据压缩中，通过保留最大的奇异值，我们可以有效减少数据量，压缩图片或信号；在最小二乘问题中，SVD 提供了数值稳定的解法，特别适用于病态或超定方程组。