[多视图几何] - 逆透视变换

逆透视变换

部分参考其他文章，自己理解学习

前言

在多视图几何中，射影映射（projection mapping）是一种非常重要的三维平面到三维平面之间的变换，射影平面 $IP^2$ 上的点满足一种映射 $h$ ，使 $IP^2$ 上的点 $x_1,x_2,x_3$ 共线时，当且仅当 $h(x_1),h(x_2),h(x_3)$ 也共线。并且射影映射可以组成一个群，使得射影映射的逆以及两个射影映射的复合也是一个射影映射。同时，射影映射也被称为保线变换，摄影变换和单应。所以射影映射可以定义为：

存在一个3*3的非奇异矩阵H，使得 $IP^2$ 平面上任意一个可以用矢量表示的点都可以在另一个 $IP^2$ 平面上找到映射 $h(x) = Hx$ 。

而当沿着过某一公共点的射线，穿过该两个平面留下两个相互映射的点，并且该中心投影映射的两个平面都是直角坐标系下的平面，那么称其为透视映射，是射影映射的一个特殊形式。

透视变换

相机与世界之间存在多次变换，将透视变换分成三个部分。

1. 世界坐标系到相机坐标系（光心坐标系）

假设存在一个点 $(X,Y,Z)$ 在世界坐标系下表示为 $(X,Y,Z)_w$ ,在相机坐标系下表示为 $(X,Y,Z)_c$ ，那么在这两个坐标系之间的变换可以表示为：

⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ X Y Z 1 ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ c = {R 0 t 1} ⎧ ⎩ ⎨ ⎪ ⎪ ⎪ ⎪ X Y Z 1 ⎫ ⎭ ⎬ ⎪ ⎪ ⎪ ⎪ w

$\begin{Bmatrix} X\\Y\\Z\\1\\\end{Bmatrix}_c = \begin{Bmatrix} R & t \\ 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} X\\Y\\Z\\1\\\end{Bmatrix}_w$
这里使用的是齐次坐标，R和t代表了这两种坐标系之间的变换。

2. 相机坐标系到相机平面坐标系

相机坐标系的原点就相当于透视变换中的射线公共点，所有的射线从这一点发出，穿过相机平面到达物体上，那么在相机平面上会留下一个坐标，这就是相机平面坐标系的坐标。因为相机平面上的点的三维信息与现实场景下相机坐标系上的点的三维信息满足三角形的相似性，所以我们可以将相机坐标系原点与 $(X,Y,Z)_c$ 链接起来，在相机平面上经过点 $(x,y,1)$

其中相机平面坐标系的原点在相机平面的中心，那么我们可以定义从 $(X,Y,Z)_c$ 到 $(x,y,1)$ 的映射关系(其中f是焦距，即相机坐标系和相机平面坐标系原点之间的距离)： $\frac{x}{f} = \frac{X_c}{Z_c}$ 且 $\frac{y}{f} = \frac{Y_c}{Z_c}$
那么用矩阵形式表示，可以表示成：

Z c ⎧ ⎩ ⎨ ⎪ ⎪ x y 1 ⎫ ⎭ ⎬ ⎪ ⎪ = ⎧ ⎩ ⎨ ⎪ ⎪ f 00 0 f 0 001 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ c

$Z_c\begin{Bmatrix} x\\y\\1\\\end{Bmatrix} = \begin{Bmatrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_c$

3. 相机平面坐标系到像素坐标系

因为我们的计算机读取图片都是从左上角开始读取的，所以是以左上角的坐标为原点，以像素作为刻度，这是像素坐标系。而上一步得到的相机平面坐标系则不是这样，之前的坐标都是物理单位。所以这里还需要从相机平面坐标系映射到像素坐标系。
设存在以像素为单位的像素坐标系 $UV$ 和以mm为单位的相机平面坐标系 $XY$ ,如下图

两个坐标系有以下的关系 $u=\frac{x}{dx}+u_0;v=\frac{y}{dy}+v_0$ ，其中 $dx$ 和 $dy$ 表示每mm有多少像素点。使用矩阵映射表达如下：

⎧ ⎩ ⎨ ⎪ ⎪ u v 1 ⎫ ⎭ ⎬ ⎪ ⎪ = ⎧ ⎩ ⎨ ⎪ ⎪ d x - 1 00 0 d y - 1 0 u 0 v 0 1 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ x y 1 ⎫ ⎭ ⎬ ⎪ ⎪

$\begin{Bmatrix} u\\ v\\ 1\\\end{Bmatrix}= \begin{Bmatrix} dx^-1 & 0 & u_0 \\ 0 & dy^-1 & v_0 \\ 0 & 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} x\\y\\1\\\end{Bmatrix}$

4. 透视变换

以上所有的步骤整合在一张图中：
这里写图片描述
总结以上三步，得到了总等式

⎧ ⎩ ⎨ ⎪ ⎪ u v 1 ⎫ ⎭ ⎬ ⎪ ⎪ = 1 Z c ⎧ ⎩ ⎨ ⎪ ⎪ d x - 1 00 0 d y - 1 0 u 0 v 0 1 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ f 00 0 f 0 001 ⎫ ⎭ ⎬ ⎪ ⎪ {R 0 t 1} ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ w

$\begin{Bmatrix} u\\ v\\ 1\\\end{Bmatrix}= \frac{1}{Z_c} \begin{Bmatrix} dx^-1 & 0 & u_0 \\ 0 & dy^-1 & v_0 \\ 0 & 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} f & 0 & 0 \\ 0 & f & 0 \\ 0 & 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} R & t \\ 0 & 1 \\ \end{Bmatrix} \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_w$
这个公式就代表了从世界坐标系下的一个点到像素平面的一个点的坐标的映射，这一过程就叫做透视变换。

逆透视变换

因为射影变换的结合依旧是射影变换，所以上面的射影变换的公式，我们可以用一个M矩阵代表中间的变换过程，简写成如下的公式

⎧ ⎩ ⎨ ⎪ ⎪ u v 1 ⎫ ⎭ ⎬ ⎪ ⎪ = 1 Z c M ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ w = 1 Z c ⎧ ⎩ ⎨ ⎪ ⎪ m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ w

$\begin{Bmatrix} u\\ v\\ 1\\\end{Bmatrix}= \frac{1}{Z_c} M \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_w= \frac{1}{Z_c} \begin{Bmatrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \\ \end{Bmatrix} \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_w$
假设在我们的摄像机面前有一条道路，道路两侧的沿线在水平线处相聚，此刻，两边的道路线的相聚点实际上是无穷远的。我们设一边道路沿线上有一个点

a $a$ 坐标是

(xa,ya,za) $(x_a,y_a,z_a)$ ，同时设该道路沿线的方向向量是

D $D$ ，表示为

(Dx,Dy,Dz) $(D_x,D_y,D_z)$ ，那么此刻我们可以用这两个参数表示该条直线的方程

F(k)=a+kD $F(k) = a+kD$ ，k是方向向量上的系数，如果k越大，

F(k) $F(k)$ 离像素平面越远，离无穷远点越近。

⎧ ⎩ ⎨ ⎪ ⎪ u v 1 ⎫ ⎭ ⎬ ⎪ ⎪ = 1 Z c ⎧ ⎩ ⎨ ⎪ ⎪ m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ w = 1 Z c ⎧ ⎩ ⎨ ⎪ ⎪ m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ x a + k D x y a + k D y z a + k D z ⎫ ⎭ ⎬ ⎪ ⎪ w

$\begin{Bmatrix} u\\ v\\ 1\\\end{Bmatrix}= \frac{1}{Z_c} \begin{Bmatrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \\ \end{Bmatrix} \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_w= \frac{1}{Z_c} \begin{Bmatrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \\ \end{Bmatrix} \begin{Bmatrix} x_a+kD_x\\y_a+kD_y\\z_a+kD_z\\\end{Bmatrix}_w$
然后，我们以无穷远的相聚点为目标点，用公式表示目标点在像素平面上的坐标，

⎧ ⎩ ⎨ ⎪ ⎪ u \infty v \infty 1 ⎫ ⎭ ⎬ ⎪ ⎪ = 1 Z c ⎧ ⎩ ⎨ ⎪ ⎪ m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ x a + k D x y a + k D y z a + k D z ⎫ ⎭ ⎬ ⎪ ⎪ w [k \to \infty] ≃ k Z c ⎧ ⎩ ⎨ ⎪ ⎪ m 11 m 21 m 31 m 12 m 22 m 32 m 13 m 23 m 33 ⎫ ⎭ ⎬ ⎪ ⎪ ⎧ ⎩ ⎨ ⎪ ⎪ D x D y D z ⎫ ⎭ ⎬ ⎪ ⎪ w

$\begin{Bmatrix} u_\infty \\ v_\infty\\ 1\\\end{Bmatrix}= \frac{1}{Z_c} \begin{Bmatrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \\ \end{Bmatrix} \begin{Bmatrix} x_a+kD_x\\y_a+kD_y\\z_a+kD_z\\\end{Bmatrix}_w [k\to\infty] \simeq \frac{k}{Z_c} \begin{Bmatrix} m_{11} & m_{12} & m_{13} \\ m_{21} & m_{22} & m_{23} \\ m_{31} & m_{32} & m_{33} \\ \end{Bmatrix} \begin{Bmatrix} D_x\\D_y\\D_z\\\end{Bmatrix}_w$
由于k趋向于无穷，所以a点可以被直接被消去，同时k被提到最前面。将矩阵展开，得到

u \infty = m 11 D x + m 12 D y + m 13 D z m 31 D x + m 32 D y + m 33 D z

$u_\infty = \frac{m_{11}D_x+m_{12}D_y+m_{13}D_z}{m_{31}D_x+m_{32}D_y+m_{33}D_z}$

v \infty = m 21 D x + m 22 D y + m 23 D z m 31 D x + m 32 D y + m 33 D z

$v_\infty = \frac{m_{21}D_x+m_{22}D_y+m_{23}D_z}{m_{31}D_x+m_{32}D_y+m_{33}D_z}$
因为像素平面上的无穷远点的坐标是已知的，并且通过标定可以得到中间变换M，解该方程组得到对应坐标，就是在世界坐标系下的坐标。这一过程相当于将M求逆放到方程的左边：

Z c M - 1 ⎧ ⎩ ⎨ ⎪ ⎪ u v 1 ⎫ ⎭ ⎬ ⎪ ⎪ = ⎧ ⎩ ⎨ ⎪ ⎪ X Y Z ⎫ ⎭ ⎬ ⎪ ⎪ w

$Z_c M^{-1} \begin{Bmatrix} u\\ v\\ 1\\\end{Bmatrix}= \begin{Bmatrix} X\\Y\\Z\\\end{Bmatrix}_w$

参考：
http://blog.csdn.net/u014096352/article/details/53526747
http://blog.csdn.net/yeyang911/article/details/51912322
http://blog.csdn.net/yeyang911/article/details/51915348
《计算机视觉中的多视图几何》