本质矩阵
本质矩阵(essential matrix )是基本矩阵在归一化图像坐标下的一种特殊形式。
考虑相机矩阵 P = K [ R ∣ t ] P=K[R|\mathbf t] P=K[R∣t],点 x = P X \mathbf x=P\mathbf X x=PX是图像平面上的一个点,若已知相机内参 K K K,那么点 x ^ = K − 1 x \mathbf{\hat x}=K^{-1}\mathbf x x^=K−1x,有 x ^ = [ R ∣ t ] X \mathbf{\hat x}=[R|\mathbf t]\mathbf X x^=[R∣t]X,则称点 x ^ \mathbf{\hat x} x^是在归一化坐标(normalized coordinates )下的表示。点 x ^ \mathbf{\hat x} x^可以被认为是空间点 X \mathbf X X在内参矩阵为单位阵 I I I的情况下的像,而 K − 1 P = [ R ∣ t ] K^{-1}P=[R|\mathbf t] K−1P=[R∣t]称为归一化相机矩阵(normalized camera matrix )。
对于一对对应点 x ↔ x ′ \mathbf x\leftrightarrow\mathbf x' x↔x′基本矩阵定义为
x ′ F x = 0 (1) \mathbf x'F\mathbf x=0\tag{1} x′Fx=0(1)
而对本质矩阵,给定一对对应点 x ↔ x ′ \mathbf x\leftrightarrow\mathbf x' x↔x′,归一化图像点对为 x ^ ↔ x ^ ′ \mathbf{\hat x}\leftrightarrow\mathbf{\hat x'} x^↔x^′,定义为
x ^ ′ T E x ^ = 0 (2) \mathbf{\hat x'}^TE\mathbf{\hat x}=0\tag{2} x^′TEx^=0(2)
把点对应关系 x ^ = K − 1 x \mathbf{\hat x}=K^{-1}\mathbf{x} x^=K−1x,和 x ^ ′ = K ′ − 1 x ′ \mathbf{\hat x'}=K'^{-1}\mathbf{x'} x^′=K′−1x′代入(2)可以得到 x ′ T K ′ − T E K − 1 x = 0 \mathbf{ x'}^TK'^{-T}EK^{-1}\mathbf{x}=0 x′TK′−TEK−1x=0,则有如下关系
E = K ′ T F K (3) E=K'^TFK\tag{3} E=K′TFK(3)
考虑相机矩阵 P = K [ I ∣ 0 ] P=K[I|\mathbf 0] P=K[I∣0]和 P ′ = [ R ∣ t ] P'=[R|\mathbf t] P′=[R∣t],根据 F F F矩阵的性质有
F = K ′ − T [ t ] × R K − 1 = K ′ − T R [ R T t ] × K − 1 (4) F=K'^{-T}[\mathbf t]_{\times}RK^{-1}=K'^{-T}R[R^{T}\mathbf t]_{\times}K^{-1}\tag{4} F=K′−T[t]×RK−1=K′−TR[RTt]×K−1(4)
从而有
E = [ t ] × R = R [ R T t ] × (5) E=[\mathbf t]_{\times}R=R[R^{T}\mathbf t]_{\times}\tag{5} E=[t]×R=R[RTt]×(5)
本质矩阵的性质
其中 t \mathbf t t和 R R R分别有 3 3 3个自由度,除去一个齐次因子, E E E只有 5 5 5个自由度,因此需要满足比 F F F矩阵更多的约束。
反对称矩阵的性质
如果一个矩阵 M M M是 d × d d\times d d×d的反对称矩阵(skew-symmetric/antisymmetric matrices),那么其满足 M T = − M M^T=-M MT=−M,有
det M = det ( − M T ) = det ( − M ) = ( − 1 ) d det M (6)