一、背景
1.概念：（引用百度百科）
- 投影变换：
把空间坐标系中的三维物体或对象转变为二维图像表示的过程称为投影变换。根据视点（投影中心）与投影平面之间距离的不同，投影可分为平行投影和透视投影，透视投影即透视变换。 - 平行投影：
平行投影的视点（投影中心）与投影平面之间的距离为无穷大。 - 透视变换（Perspective Transformation)：
是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面（透视面）绕迹线（透视轴）旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
2.透视变换的特点：
- 基于3x3矩阵进行变换。
- 透视变换将视锥体转换为长方体形状，视锥体的近端比远端小，具有扩大相机附近物体的效果。
- 透视变换可以改变平行关系，将矩形映射为任意四边形。但直线变换后仍然是直线。
- 投影的视点（投影中心）与投影平面之间的距离有限。
3.透视变换应用场景
- 相机拍照FA镜头倾向矫正；
- 多视角拍摄图片合并、图像配准；
- 透视变换通常被用于当作从特定角度观察三维平面的计算方法（非垂直观测），在三维视觉领域具有广泛的应用；
- 三维重建、模型视角切换 。
二、推理（引用博文：https://blog.csdn.net/bby1987/article/details/106317354）
2.二维坐标向齐次坐标的变换
3.公式求解
三、算子介绍
1.GetPerspectiveTransform：计算变换矩阵
-
函数解析：
从四对对应点计算透视变换矩阵
-
函数原型：
CV_EXPORTS_W Mat getPerspectiveTransform(InputArray src, InputArray dst, int solveMethod = DECOMP_LU);
CV_EXPORTS Mat getPerspectiveTransform(const Point2f src[], const Point2f dst[], int solveMethod = DECOMP_LU);
- 函数参数：
src- 源图像四边形顶点坐标.
dst- 目标图像对应的四边形顶点坐标.
solveMethod-传递给cv::solve(#DecompTypes)的计算方法，默认是DECOMP_LU，参考findHomography、warpPerspective,、perspectiveTransform
- 函数返回值：
Mat类型，返回矩阵3*3 - 使用注意事项：
返回值Mat的元素为double类型。
2.WarpPerspective： 透视变换
- 函数解析：
密集透视变换，应用到Mat图片上。 - 函数原型：
CV_EXPORTS_W void warpPerspective( InputArray src, OutputArray dst,
InputArray M, Size dsize,
int flags = INTER_LINEAR,
int borderMode = BORDER_CONSTANT,
const Scalar& borderValue = Scalar());
- 函数参数：
src- 输入图像。
dst- 输出图像，具有Size dsize并且和源图像具有相同的类型 .
M- 3*3的转换矩阵.
dsize- 输出图像的大小.
flags- 插值方法的组合（INTER_LINEAR（双线性插值）或 INTER_NEAREST（双线性插值）)和可选的标志g #WARP_INVERSE_MAP, 为了设置M作为反转转换 (dst->src)
borderMode- 像素外推方法 (#BORDER_CONSTANT指定常数填充 or #BORDER_REPLICATE复制边缘像素填充).
borderValue- 固定边缘情况下使用的值，缺省是0.（参考warpAffine, resize, remap, getRectSubPix, perspectiveTransform）
- 函数返回值：
无 - 使用注意事项
参数M需要通过GetPerspectiveTransform计算
三、案例展示
1.结果展示
2.代码展示
private void button6_Click(object sender, EventArgs e)
{
srcPoint = new OpenCvSharp.Point2f[4] { new OpenCvSharp.Point(0, 0), new OpenCvSharp.Point(srcMat.Cols, 0), new OpenCvSharp.Point(0, srcMat.Rows), new OpenCvSharp.Point(srcMat.Cols, srcMat.Rows) };
dstPoint = new OpenCvSharp.Point2f[4] { new OpenCvSharp.Point(0, 0), new OpenCvSharp.Point(srcMat.Cols, 0), new OpenCvSharp.Point(0, srcMat.Rows), new OpenCvSharp.Point(srcMat.Cols, srcMat.Rows) };
//在临时图像上实时显示鼠标拖动时形成的图像
//注意不能直接在dstImg上画，否则会画很多次
dstImg = srcMat.Clone();
Mat tmp = srcMat.Clone();
//重新绘制4个圆
for (int i = 0; i < 4; i++)
{
Cv2.Circle(tmp, (int)srcPoint[i].X, (int)srcPoint[i].Y, radius, new Scalar(228, 164, 140), -1);
}
pBSrc.Image = BitmapConverter.ToBitmap(tmp);
scliX = srcMat.Width / (double)pBSrc.Width;
scliY = srcMat.Height / (double)pBSrc.Height;
}
private void pBSrc_MouseDown(object sender, MouseEventArgs e)
{
if (e.Button == MouseButtons.Left)//左键按下
{
for (int i = 0; i < 4; i++)
{
//判断是否选择了某个映射点
if (Math.Abs(e.X * scliX - dstPoint[i].X) <= radius && Math.Abs(e.Y * scliY - dstPoint[i].Y) <= radius)
{
isMove = true; //鼠标左键是否按下
pickPoint = i;
beforePlace = dstPoint[pickPoint];//记录原本的位置
break;
}
}
}
}
private void pBSrc_MouseMove(object sender, MouseEventArgs e)
{
if (isMove && pickPoint >= 0)
{
//更改映射后坐标
dstPoint[pickPoint].X = (float)(e.X * scliX);
dstPoint[pickPoint].Y = (float)(e.Y * scliY);
//在临时图像上实时显示鼠标拖动时形成的图像
//注意不能直接在dstImg上画，否则会画很多次
Mat tmp = dstImg.Clone();
//原本的圆
Cv2.Circle(tmp, (int)beforePlace.X, (int)beforePlace.Y, radius, new Scalar(228, 164, 140), -1);
//绘制直线
Cv2.Line(tmp, (int)dstPoint[0].X, (int)dstPoint[0].Y, (int)dstPoint[1].X, (int)dstPoint[1].Y, new Scalar(246, 230, 171), 5);
Cv2.Line(tmp, (int)dstPoint[1].X, (int)dstPoint[1].Y, (int)dstPoint[3].X, (int)dstPoint[3].Y, new Scalar(246, 230, 171), 5);
Cv2.Line(tmp, (int)dstPoint[3].X, (int)dstPoint[3].Y, (int)dstPoint[2].X, (int)dstPoint[2].Y, new Scalar(246, 230, 171), 5);
Cv2.Line(tmp, (int)dstPoint[2].X, (int)dstPoint[2].Y, (int)dstPoint[0].X, (int)dstPoint[0].Y, new Scalar(246, 230, 171), 5);
//重新绘制4个圆
for (int i = 0; i < 4; i++)
{
if (i != pickPoint)
Cv2.Circle(tmp, (int)dstPoint[i].X, (int)dstPoint[i].Y, radius, new Scalar(228, 164, 140), -1);
else
Cv2.Circle(tmp, (int)dstPoint[i].X, (int)dstPoint[i].Y, radius, new Scalar(96, 96, 240), -1);
}
pBSrc.Image = BitmapConverter.ToBitmap(tmp);
}
}
private void pBSrc_MouseUp(object sender, MouseEventArgs e)
{
if (isMove && pickPoint >= 0)//左键松开
{
//执行透视变换
Mat Trans = Cv2.GetPerspectiveTransform(srcPoint, dstPoint);//由4组映射点得到变换矩阵
dstImg = srcMat.Clone();
Cv2.WarpPerspective(srcMat, dstImg, Trans, new OpenCvSharp.Size(dstImg.Cols, dstImg.Rows));//执行透视变换
for (int i = 0; i < 4; i++)//显示4组映射点的位置
{
//画一个圆心在映射点(转换后)，半径为10，线条粗细为3，黄色的圆
Cv2.Circle(dstImg, (int)dstPoint[i].X, (int)dstPoint[i].Y, radius, new Scalar(0, 215, 255), 3);
}
pBSrc.Image = BitmapConverter.ToBitmap(dstImg);
pickPoint = -1;//重置选取状态
isMove = false;
}
}
2.视频播放代码（需要添加库opencv_videoio_ffmpeg420_64.dll）
//打开视频文件
VideoCapture capture = new VideoCapture();
capture.Open("8.mp4");
bool isOpen = capture.IsOpened();
if (!capture.IsOpened())
{
return;
}
int num = 0;
Mat frame = new Mat();
while (capture.Read(frame))
{
num++;
Mat Trans = new Mat();
if (num == 1)//第一帧
{
//设置原图像的4个映射点
srcPoint = new OpenCvSharp.Point2f[4] { new OpenCvSharp.Point(0, 0), new OpenCvSharp.Point(frame.Cols, 0), new OpenCvSharp.Point(0, frame.Rows), new OpenCvSharp.Point(frame.Cols, frame.Rows) };
//执行透视变换
//int col = (int)(referPoint[1].X - referPoint[0].X);
//int row = (int)(referPoint[2].Y - referPoint[0].Y);
}
Trans = Cv2.GetPerspectiveTransform(srcPoint, referPoint);//由4组映射点得到变换矩阵
Cv2.WarpPerspective(frame, tmp, Trans, new OpenCvSharp.Size(tmp.Cols, tmp.Rows));//执行透视变换
Mat resultImg = referMat.Clone();
int row = referMat.Rows;
int col = referMat.Cols * 3;
for (int y = 0; y < row; y++)
{
IntPtr a = tmp.Ptr(y);
byte* b = (byte*)a.ToPointer();
for (int x = 0; x < col; x += 3)
{
if (b[x] == 0 && b[x + 1] == 0 && b[x + 2] == 0)//像素点全0
continue;
else//非全0
{
IntPtr c = resultImg.Ptr(y);
byte* d = (byte*)c.ToPointer();
d[x] = b[x];
d[x + 1] = b[x + 1];
d[x + 2] = b[x + 2];
}
}
}
//Thread.Sleep(30);
pBRefer.BeginInvoke(new Action(() => { pBRefer.Image = BitmapConverter.ToBitmap(resultImg); }));
//判定当前帧数是否等于总帧数（最后一帧），若是把帧数设置为0，循环播放
if (num == (int)(capture.Get(VideoCaptureProperties.FrameCount)))
{
num = 0;
capture.Set(VideoCaptureProperties.PosFrames, 0);
}
}