线性代数笔记11：正定矩阵理解及推导

title: 线性代数笔记11：正定矩阵理解及推导
tags:

linear algebra
categories:
linear algebra
date: 2018-04-12 15:55:43
mathjax: true

正定矩阵及半正定矩阵在机器学习和深度学习中有很重要的应用。

引言

定义：特征值全是正实数的实对称矩阵为正定矩阵（positive definite matrix）。
类似的，若实对称矩阵的特征值均非负，则为半正定矩阵（positive semidefinite matrix）。

可能用到的概念

主子式

定义：在 $n$ 阶行列式中任选 $k$ 行，再取相应的 $k$ 列，将行列交汇处元素组成新的矩阵行列式，称为 $n$ 阶行列式的一个 $k$ 阶主子式。
顺序主子式（the k-th leading principal minor）

定义：在 $n$ 阶行列式中由第 $1, . . ., k$ 行和第 $1, . . ., k$ 列所确定的主子式称为 $k$ 阶顺序主子式。直观上看就是矩阵中左上方的子矩阵。

实对称矩阵 $A$ 正定的充要条件

注意，这里的所有进行判别的矩阵都是实对称矩阵。

以下条件都是判别实对称矩阵是否正定的充要条件。

$A$ 的所有特征值 $\lambda_i$ 均为正。
$x^TAx > 0$ 对所有非零向量 $x$ 都成立。
$A$ 的所有顺序主子式都是正的。
$A$ 的所有主元（无行交换）都是正的。
存在列满秩矩阵 $R$ ，使得 $A=R^TR$ .
$A$ 的所有主子式都是正的。

证明

(1) => (2)

对实对称矩阵 $A$ ，存在正交阵 $Q$ ，使得 $A=Q\Lambda Q^R$ 。

因此，对任意非零向量 $x$ ：

$x^TAx = x^TQ\Lambda Q^Tx = y^T\Lambda y=\lambda_1y_1^2 + ... + \lambda_ny_n^2 > 0$

其中 $Q^Tx = (y_1,...,y_n) \ne 0$

(2) => (1)

因为 $A$ 为实对称矩阵，因此一定可以对角化 $Q\lambda Q^T$

$\because x^TAx > 0 \quad \therefore x^TQ\Lambda Q^Tx > 0$

令 $y = Q^Tx$ ，因此 $y\Lambda y^T > 0\Rightarrow \sum \lambda_iy_i^2 = 0$

$\because \forall y \ne 0 \quad s.t \quad \sum \lambda_iy_i^2 = 0$

$\lambda_i = 0$

(2) => (3)

由(2) => (1) => $\lambda_1 ...\lambda_n > 0$

$x^TAx = \begin{pmatrix}x_k^T & 0\end{pmatrix}\begin{pmatrix}A_k &* \\ * & *\end{pmatrix} \begin{pmatrix}x_k\\0 \end{pmatrix} = x^T_k A x_k > 0$

$\therefore det (x_k^T)det(A_k)det(k_k) = det(A_k) > 0$

(3) => (4)

顺序主子式与主元有直接关系，第 $k$ 个主元：

$d_k = \frac{det(A_k)}{detA_k(k-1)} > 0$

其中 $A_k$ 是第 $k$ 个顺序主子矩阵（the k-th leading principal submatrix)。

(4) => (2)

由对称矩阵的Gauss消元法得LDU分解： $A = LDL^T$ ，其中对角阵的对角元为 $A$ 的主元：

$D = diag (d_1,...,d_n)$

则对任意非零向量：

$x^TAx = x^TLDL^Tx = y^TDy = d_1y_1^2 + ...+ d_ny_n^2> 0$

(2) => (5)

$LDL^T = L\sqrt {D} \sqrt {D} L^T = ( \sqrt {D} L^T)^T ( \sqrt {D} L^T) = R^TR$

(5) => (2)

设 $A = R^TR$ ，则对任意非零向量 $x$ :

$x^TAx = x^TR^TRx = (Rx )^T(Rx) = ||Rx||^2 > 0$

(6) => (2)

(6) => (3) => (2)

(2) => (6)

对 $k$ 阶主子矩阵 $A_{i1,...,ik}$ ，任取 $(x_1,...,x_n) \ne 0$ ，使其除 $x_{i1},...,x_{ik}$ 的其余分量全为0，则

$x^TAx = (x_{i1},...,x_{ik})A_{i1,...ik}\begin{pmatrix}x_{i1}\\... \\ x_{i_k}\end{pmatrix} > 0$

$\therefore det (A_{i1,...ik}) > 0$

判断

因此，我们可以用以上充要条件来判断矩阵是否正定。常用的判断方法有：

看顺序主子式是否都大于0
Gauss消元后主元是否都大于0
看特征值是否都大于0
找任意一个向量计算 $x^TAx$ 是否大于0
找 $A = LDL^T$ 分解，看 $\sqrt {D} L^T$ 是否满秩

正定矩阵的常见性质

设 $A, B$ 为正定矩阵，则 $A + B$ 也为正定矩阵。
设 $A$ 为正定矩阵，则存在矩阵C，使得 $A = C^2$ 。

证明： $A$ 为正定矩阵，则存在正交矩阵 $Q$ ，使得:

$Q\Lambda Q^T = (Q\sqrt{\Lambda}Q^T) (Q\sqrt{\Lambda}Q^T) = C^2$
设 $A$ 为正定矩阵，则矩阵 $A^2$ 和 $A^{-1}$ 也正定。
设 $A$ 为正定矩阵，矩阵 $C$ 可逆，则 $B = C^TAC$ 也正定。

半正定矩阵

充要条件

$A$ 的所有特征值 $\lambda_i$ 均非负。
$x^TAx \ge 0$ 对所有向量 $X$ 成立。
存在矩阵 $R$ ，使得 $A =R^TR$ （ $R$ 可能不是可逆阵）。
$A$ 的所有主子式均非负。（注意，不是所有顺序主子式）