一、内参与外参概念
在计算机视觉中,特别是在相机标定和立体视觉领域,内参(intrinsic parameters)和外参(extrinsic parameters)是非常重要的概念。它们与相机的几何属性和姿态有关。
内参(Intrinsic Parameters): 内参是描述相机内部属性的参数,包括焦距、主点(光学中心)坐标、畸变系数等。内参通常在相机标定时确定,因为它们通常对于特定相机型号是固定的,不随时间变化。一旦相机内参被确定,它们在相机的使用过程中通常是 保持不变的。
外参(Extrinsic Parameters): 外参是描述相机在世界坐标系中的位置和姿态的参数,通常包括旋转矩阵和平移向量。 外参在不同的相机位置可能会发生变化。例如,在立体视觉中,如果您有两个相机,那么它们的相对位置和方向会在每次移动相机时发生变化,从而导致外参的变化。
如果相机不发生位置和方向的变化,比如相机固定在一个固定位置,那么外参在很长一段时间内可能保持不变。然而,如果相机的位置或方向发生变化,例如移动相机或更改拍摄角度,外参会随之变化。
当将图像放大或缩小时,相机的内参和外参是否需要变化取决于放大/缩小的尺度以及具体的情况。下面我会讨论两种情况:
仅图像尺寸发生变化,相机保持固定位置和方向: 如果您只是对图像进行简单的放大或缩小操作,而相机的位置和方向保持不变,通常情况下,相机的内参(如焦距、主点坐标等)是不需要改变的。这是因为这些内参与相机成像的几何属性有关,而不受图像尺寸的影响。
相机位置或方向发生变化,导致场景中的物体尺寸变化: 如果相机的位置或方向发生变化,导致了场景中物体的尺寸变化,那么内参和外参可能都需要进行调整。例如,如果您将相机从原来的位置移动到一个新的位置,或者更改了相机的方向,那么外参需要更新以反映这些变化。内参方面,如果相机的焦距或主点坐标发生变化,也可能需要进行调整。
需要注意的是,调整相机的内参和外参需要进行精确的标定过程。如果图像放大/缩小的尺度不大,并且相机位置和方向没有显著变化,通常情况下可以考虑保持内参和外参不变。但如果尺度变化较大,或者相机位置和方向发生了明显的变化,那么进行相应的标定以更新内参和外参是非常重要的,以确保后续的计算和分析能够准确地反映真实世界的情况。
二、四个坐标系
四个坐标系的意义,世界坐标系(参考坐标系)、摄像机坐标系 、 图像物理坐标系和像素坐标系。
(1)世界坐标系就是物体在真实世界中的坐标,比如黑白棋盘格的世界坐标系原点定在第一个棋盘格的顶点,Xw,Yw,Zw互相垂直,Zw方向就是垂直于棋盘格面板的方向。可见世界坐标系是随着物体的大小和位置变化的,单位是长度单位。只要棋盘格的大小决定了,无论板子怎么动,棋盘格角点坐标一般就不再变动(因为是相对于世界坐标系原点的位置不变),且认为是Zw=0。
(2)相机坐标系以光心为相机坐标系的原点,以平行于图像的x和y方向为Xc轴和Yc轴,Zc轴和光轴平行,Xc,Yc,Zc互相垂直,单位是长度单位。
(3)图像物理坐标系以主光轴和图像平面交点为坐标原点,x和y方向如图所示,单位是长度单位。
(4)图像像素坐标系以图像的顶点为坐标原点,u和v方向平行于x和y方向,单位是以像素计。
相机成像过程涉及到四个坐标系的变换,变换关系如下:
(U,V,W)是世界坐标系,经过刚体变换(如:旋转、平移)后变为了相机坐标系,再次经过透视投影转变为了图像坐标系,最后经仿射变换转换为了像素坐标系(u,v)。转换关系如下(Z是尺度因子):
四个坐标系
- 图像像素坐标系:表示三维空间物体在图像平面上的投影,像素是离散化的,其坐标原点在CCD图像平面的左上角,u轴平行于CCD平面水平向右,v轴垂直于u轴向下,坐标使用(u,v)来表示。图像宽度W,高度H。
- 图像物理坐标系:坐标原点在CCD图像平面的中心x,y轴分别平行于图像像素坐标系的(u,v)轴,坐标用(x,y)表示。
- 相机坐标系:以相机的光心为坐标系原点,Xc、Yc轴平行于图像坐标系的x,y轴,相机的光轴为Zc轴,坐标系满足右手法则。相机的光心可理解为相机透镜的几何中心。
- 世界坐标系:用于表示空间物体的绝对坐标,使用
表示,世界坐标系可通过旋转和平移得到相机坐标系。
三、针孔相机模型
相机将三维世界中的坐标点(单位为米)映射到二维图像平面(单位为像素)的过程能够用一个几何模型进行描述,这个几何模型就是所谓的相机模型。模型有很多种,其中一种最简单有效的模型称为针孔模型。它描述了一束光线通过针孔之后,在针孔背面投影成像的关系。同时,由于相机镜头上的透镜的存在,会使得光线投影到成像平面的过程中会产生畸变。
所以整个相机成像过程可以用针孔和畸变两个模型来描述。
相机真实内部模型
上面就是简单的针孔相机模型,图中只涉及了像素坐标系和相机坐标系两个,应该还有一个图像坐标系。
在相机中,我们最终获得的是一个个的像素信息,这需要在成像平面上对像进行采样和量化。像素坐标系通常的定义方式是:原点 o′ 位于图像的左上角,u 轴向右与 x 轴平行,v轴向下与 y 轴平行。像素坐标系与成像平面之间,相差了一个缩放和一个原点的平移。这个过程是通过相机内参造成的。
相机归一化模型
相机中有四个坐标系,分别为{world},{camera},{image},{pixel}
四、坐标系转换
1.世界坐标系-相机坐标系
刚体变换只改变物体的空间位置(平移)和朝向(旋转),而不改变其形状的变换,可用两个变量来描述:正交单位旋转矩阵R,三维平移矢量t。世界坐标系到相机坐标系的转换关系也是如此
平移比较好理解,世界坐标系原点移动到相机坐标系原点;
旋转一共有3个自由度,及绕x,y,z旋转,根据旋转角度可以分别得到三个方向上的旋转矩阵
,而旋转矩阵即为他们的乘积,
。以绕X轴旋转为例,得到
在齐次坐标下,可以用两个点 p, q 的齐次坐标叉乘结果来表达一条直线。
2 相机坐标系-图像坐标系
相机坐标系到图像坐标系是透视关系,利用相似三角形:
3 图像坐标系-像素坐标系
像素坐标系是图像坐标系的离散化表示,实际CCD相机每个像素对应一个感光点,是个矩形,假设其物理尺寸为dx宽,dy高。以CCD传感器的左上角为坐标原点建立的坐标系与以成像平面中心建立的坐标系的转换关系如下。
由于制造工艺的限制,一般情况下,CCD 摄像机数字离散化后的像素不是一个矩形而是一个平行四边形,四边形的一边平行于u轴,而另一边与u轴形成一个θ 角。则内参矩阵中会出现一个扭曲因子s。感兴趣可进一步阅读Reference1中相关章节。
内参矩阵表示为
其中, f为像距,dX、dY分别表示X、Y方向上的一个像素在相机感光板上的物理长度,即一个像素在感光板上是多少毫米,u0,v0分别表示相机感光板中心在像素坐标系下的坐标,θ表示感光板的横边和纵边之间的角度( 90°表示无误差)。
总结
编辑于 2023-11-24 15:41・IP 属地山东