Title: 多视图几何中向量叉乘的矩阵转换 Matrix Transformation for Cross Product in MVG

多视图几何读书笔记

[1] 对极约束及其性质 —— 公式详细推导

[2] [笔记] 仿射变换性质的代数证明

[3] 多视图几何中向量叉乘的矩阵转换恒等式 Matrix Transformation for Cross Product in MVG $\leftarrow$ 本篇

I. 向量叉乘的矩阵转换恒等式

“Multiple View Geometry in Computer Vision” 中一个关于向量叉乘的矩阵转换的恒等式经常在基本矩阵、单应矩阵、对极几何等相关内容的推导中出现^[1].

Lemma A4.2^[1]

If $M$ is any $3\times 3$ matrix (invertible or not), and $\mathbf{x}$ and $\mathbf{y}$ are column vectors, then
$$(M\mathbf{x})\times (M\mathbf{y})=M^{\ast }(\mathbf{x}\times \mathbf{y})\text{\hspace{1em}(A4.8)}$$
where $M^{\ast }$ is the matrix of cofactors of $M$.

StackExchange (Cross product: matrix transformation identity) 上有关于该式数学推导的讨论.

这里尝试利用 Maxima 符号计算进行暴力计算直接证明. 然后再简单讨论一下该恒等式在基本矩阵、单应矩阵推导中的应用, 以及说明其特例——刚体旋转矩阵作用下的向量叉乘积.

II. 符号计算 Maxima 程序推导

简短的 Maxima 程序对上述 Lemma A4.2 进行符号计算推导.

M: matrix([m_11, m_12, m_13], [m_21, m_22, m_23], [m_31, m_32, m_33]);
x: transpose(matrix([x_1, x_2, x_3]));
y: transpose(matrix([y_1, y_2, y_3]));
adjM: adjoint(M);
CoM: transpose(adjM);
Mx: M.x;
My: M.y;
LHS: matrix([i, j, k], [Mx[1][1], Mx[2][1], Mx[3][1]], [My[1][1], My[2][1], My[3][1]]);
LHS_i: determinant(submatrix(1,LHS,1));
LHS_j: -determinant(submatrix(1,LHS,2));
LHS_k: determinant(submatrix(1,LHS,3));
xXy: matrix([i, j, k], [x[1][1], x[2][1], x[3][1]], [y[1][1], y[2][1], y[3][1]]);
xXy_i: determinant(submatrix(1,xXy,1));
xXy_j: -determinant(submatrix(1,xXy,2));
xXy_k: determinant(submatrix(1,xXy,3));
MxXy: transpose(matrix([xXy_i, xXy_j, xXy_k])); 
RHS: CoM.MxXy;
RHS_i: RHS[1][1];
RHS_j: RHS[2][1];
RHS_k: RHS[3][1];
expand(LHS_i - RHS_i);
expand(LHS_j - RHS_j);
expand(LHS_k - RHS_k);

输出结果说明 (A4.8) 式的左右两边相等, 即结果成立.

III. 推论和关联公式的说明

1. 推论

由式 (A4.8),
$$\begin{gathered} (M\mathbf{x})\times (M\mathbf{y})=M^{\ast }(\mathbf{x}\times \mathbf{y}) \\ \Rightarrow [M\mathbf{x}{]}_{\times }M\mathbf{y}=M^{\ast }[\mathbf{x}{]}_{\times }\mathbf{y}\text{\hspace{1em}(III-1-1)} \end{gathered}$$
因为任意的 $\mathbf{y}$ 都成立, 则有
$$[M\mathbf{x}{]}_{\times }M=M^{\ast }[\mathbf{x}{]}_{\times }\text{\hspace{1em}(III-1-2)}$$
记 $\mathbf{t}\triangleq M\mathbf{x}$. 当 $M$ 可逆时, $\mathbf{x}=M^{-1}\mathbf{t}$, 并有 $M^{\ast }=|M|M^{-\mathrm{T}}$. 则上式
$$[\mathbf{t}{]}_{\times }M=M^{\ast }[M^{-1}\mathbf{t}{]}_{\times }=M^{-\mathrm{T}}[M^{-1}\mathbf{t}{]}_{\times }\text{\hspace{1em}(Result A4.3)}$$
上式中的 “等号” 是射影空间 ${\mathbb{RP}}^3$ 下的等价关系, 两个向量相差一个非零比例常数即为等价或者相等. 此即为参考文献 [1] 中 Result A4.3 的结果.

进一步, 可得
$$[M^{-1}\mathbf{t}{]}_{\times }=M^{\mathrm{T}}[\mathbf{t}{]}_{\times }M\text{\hspace{1em}(III-1-3)}$$
及
$$[M\mathbf{t}{]}_{\times }=M^{-\mathrm{T}}[\mathbf{t}{]}_{\times }{M}^{-1}\text{\hspace{1em}(III-1-4)}$$

$$[M^{\mathrm{T}}\mathbf{t}{]}_{\times }=M^{-1}[\mathbf{t}{]}_{\times }{M}^{-\mathrm{T}}\text{\hspace{1em}(III-1-5)}$$

2. 应用于对极几何中基本矩阵推导

参考文献 [1] 中 Example 9.2 对对极几何中的基本矩阵 (Fundamental Matrix) 进行了变形推导.

以第一个相机坐标系作为世界参考坐标系, 已知第一个相机的摄像机矩阵 $P$、第二个相机的摄像机矩阵 $P^{\prime }$、摄像机矩阵 $P$ 的广义逆矩阵 $P^{+}$、第一个相机的光心坐标 $C$ 如下
$$\begin{gathered} P=K[I|0],P^{\prime }=K^{\prime }[R|\mathbf{t}] \\ {P}^{+}=\left[\begin{array}{c}{K}^{-1}\\ 0^{\mathrm{T}}\end{array}\right],C=\left[\begin{array}{c}0\\ 1\end{array}\right]\text{\hspace{1em}(III-2-1)} \end{gathered}$$
其中 $K$ 和 $K^{\prime }$ 分别为第一个相机和第二个相机的内参矩阵. 而 $[R|\mathbf{t}]$ 是第一个相机坐标系 (此处设定为世界坐标系) 相对于第二个相机坐标系的位姿称为相机外参矩阵 (相机坐标姿态变换可参考博文 “对极约束及其性质 —— 公式详细推导” 中的描述).

则
$$P^{\prime }C=K^{\prime }\mathbf{t},P^{\prime }{P}^{+}=K^{\prime }R{K}^{-1}\text{\hspace{1em}(III-2-2)}$$
另外, 旋转矩阵
$$R^{-\mathrm{T}}=(R^{-1}{)}^{\mathrm{T}}=(R^{\mathrm{T}}{)}^{\mathrm{T}}=R\text{\hspace{1em}(III-2-3)}$$

然后就可以推导参考文献 [1] 中关于基本矩阵 $F$ 的关系式 (Page 244-eq (9.4))
$$\begin{array}{rl}F& =[P^{\prime }C{]}_{\times }{P}^{\prime }{P}^{+}\\ & =\underset{\mathrm{III}-1-4}{\underline{[K^{\prime }\mathbf{t}{]}_{\times }}}{K}^{\prime }R{K}^{-1}\\ & =\underline{K^{\prime -\mathrm{T}}[\mathbf{t}{]}_{\times }{K}^{\prime -1}}{K}^{\prime }R{K}^{-1}\\ & =K^{\prime -\mathrm{T}}[\mathbf{t}{]}_{\times }\underline{R}{K}^{-1}\\ & =K^{\prime -\mathrm{T}}R\underset{\mathrm{III}-1-5}{\underline{R^{-1}[\mathbf{t}{]}_{\times }\underline{R^{-\mathrm{T}}}}}{K}^{-1}\\ & =K^{\prime -\mathrm{T}}R[R^{\mathrm{T}}\mathbf{t}{]}_{\times }{K}^{-1}\\ & =K^{\prime -\mathrm{T}}R{K}^{\mathrm{T}}\underset{\mathrm{III}-3-4}{\underline{K^{-\mathrm{T}}[R^{\mathrm{T}}\mathbf{t}{]}_{\times }{K}^{-1}}}\\ & =K^{\prime -\mathrm{T}}R{K}^{\mathrm{T}}[K{R}^{\mathrm{T}}\mathbf{t}{]}_{\times }\end{array}\text{\hspace{1em}(III-2-4)}$$

3. 应用于基本矩阵与单应矩阵关系

基本矩阵与平面单应矩阵的关系可以表示为 (参考文献 [3] 第四章 eq(4.26) 和 eq(4.27))
$$F=[{\mathbf{e}}^{\prime }{]}_{\times }H\text{\hspace{1em}(III-3-1-a)}$$

$$F=H^{-\mathrm{T}}[\mathbf{e}{]}_{\times }\text{\hspace{1em}(III-3-1-b)}$$

其中 $H$ 为平面单应矩阵, $\mathbf{e}$ 和 ${\mathbf{e}}^{\prime }$ 为两幅图像上的极点坐标. 两极点是对应点, 故有
$${\mathbf{e}}^{\prime }=H\mathbf{e},\mathbf{e}=H^{-1}{\mathbf{e}}^{\prime }\text{\hspace{1em}(III-3-2)}$$
根据一般式 (III-1-3),
$$\begin{gathered} [H^{-1}{\mathbf{e}}^{\prime }{]}_{\times }=H^{\mathrm{T}}[{\mathbf{e}}^{\prime }{]}_{\times }H \\ \Rightarrow [{\mathbf{e}}^{\prime }{]}_{\times }H=H^{-\mathrm{T}}[H^{-1}{\mathbf{e}}^{\prime }{]}_{\times } \\ \Rightarrow [{\mathbf{e}}^{\prime }{]}_{\times }H=H^{-\mathrm{T}}[\mathbf{e}{]}_{\times } \end{gathered}$$
故有基本矩阵与单应矩阵之间的两个关系式 (III-3-1-a) 与 (III-3-1-b) 等价.

4. 与刚体运动旋转矩阵作用的关系

之前的博文中经常用到关于刚体运动旋转矩阵 $R$ 的如下两个恒等式
$$R\mathbf{a}\times R\mathbf{b}=R(\mathbf{a}\times \mathbf{b})\text{\hspace{1em}(III-4-1)}$$

$$[R\mathbf{\theta }{]}_{\times }=R[\mathbf{\theta }{]}_{\times }{R}^{-1}=R[\mathbf{\theta }{]}_{\times }{R}^{\mathrm{T}}\text{\hspace{1em}(III-4-2)}$$

以上两式中 $\mathbf{a},\mathbf{b},\mathbf{\theta }\in {\mathbb{R}}^3$ 及 $R\in \mathbb{SO}(3)$.

因为旋转矩阵 $|R|=1$ 及 $R^{-\mathrm{T}}=R$
$$\begin{array}{r}|R|=1\\ R^{-\mathrm{T}}=R\end{array}\}\Rightarrow R^{\ast }=|R|R^{-\mathrm{T}}=R\text{\hspace{1em}(III-4-3)}$$
所以式 (III-4-1) 是式 (A4.8) 的特例. 同样地可以看出式 (III-4-2) 是式 (III-1-4) 的特例.

附 - 关于摄像机矩阵广义逆的说明

下面对上文中式 (III-2-1) 中的第一个相机的摄像机矩阵 $P$ 的广义逆矩阵 $P^{+}$ 进行简单说明.

参考博文 “四足机器人中不同优先级任务的执行——Null-Space Projection方法” 中对长方形矩阵的广义逆的讨论.

$J\in {\mathbf{R}}^{m\times n}$,

if $J$ is fat ($n>m$),
$$J^{+}=J^{\mathrm{T}}(J{J}^{\mathrm{T}}{)}^{-1}\text{\hspace{1em}(IV-1-1)}$$
called a right inverse since $J{J}^{+}=I$.

Else if $J$ is tall ($n<m$),
$$J^{+}=(J^{\mathrm{T}}J{)}^{-1}{J}^{\mathrm{T}}\text{\hspace{1em}(IV-1-2)}$$
called a left inverse since $J^{+}J=I$.

第一个相机的摄像机矩阵 $P$ 的矩阵维度 $P_{3\times 4}=K_{3\times 3}[I|0{]}_{3\times 4}$, 列数大于行数, 是一个 “胖矩阵”. 故利用右逆的定义构造广义逆
$$\begin{array}{rl}{P}^{+}& =P^{\mathrm{T}}(P{P}^{\mathrm{T}}{)}^{-1}\\ & =\left[\begin{array}{c}I\\ 0^{\mathrm{T}}\end{array}\right]K^{\mathrm{T}}{\left(K[I|0]\left[\begin{array}{c}I\\ 0^{\mathrm{T}}\end{array}\right]K^{\mathrm{T}}\right)}^{-1}\\ & =\left[\begin{array}{c}I\\ 0^{\mathrm{T}}\end{array}\right]K^{\mathrm{T}}{\left(K{K}^{\mathrm{T}}\right)}^{-1}\\ & =\left[\begin{array}{c}I\\ 0^{\mathrm{T}}\end{array}\right]K^{-1}\\ & =\left[\begin{array}{c}{K}^{-1}\\ 0^{\mathrm{T}}\end{array}\right]\end{array}\text{\hspace{1em}(IV-1-3)}$$

IV. 小节

本篇博客笔记主要对叉乘积的矩阵变换恒等式进行了讨论, 对多视图几何中用到该恒等式的公式进行简单推导说明.

仅为学习记录.

参考文献

[1] Richard Hartley, Andrew Zisserman, Multiple View Geometryin Computer Vision, 2nd edition, Cambridge University Press, 2004

[2] cross product: matrix transformation identity, https://math.stackexchange.com/questions/859836/cross-product-matrix-transformation-identity

[3] 吴福朝, 计算机视觉中的数学方法, 教育科学出版社, 2008

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woyaomaishu2/article/details/144142452
本文作者：wzf@robotics_notes