光流简介

        光流（optical flow）是运动物体在观察成像平面上的像素运动的瞬时速度。光流法是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。通常将二维图像平面特定坐标点上的灰度瞬时变化率定义为光流矢量。光流是由物体或相机的运动引起的图像物体在连续两帧之间的明显运动的模式。它是 2D 矢量场，其中每个矢量是一个位移矢量，显示点从第一帧到第二帧的移动。

        以下图片显示了计算出的光流示意图，颜色表示光流方向，颜色饱和度表示大小：

        参考博文：

计算机视觉大型攻略 —— 光流（1）基本原理和经典算法_光流算法_linusyue的博客-CSDN博客

光流法(optical flow)简介_Fm镄的博客-CSDN博客

opencv光流实现

        光流追踪的前提是：

1. 对象的像素强度在连续帧之间不会改变；

2. 相邻像素具有相似的运动。

 OpenCV提供了两种算法计算光流：

cv::calcOpticalFlowPyrLK()---稀疏光流： 通过 Lucas-Kanade 方法计算稀疏特征集的光流（使用 Shi-Tomasi 算法检测到的角点

cv::calcOpticalFlowFarneback--密集光流： 通过 Gunner Farneback 来寻找密集光流。它计算帧中所有点的光流。

p1, st, err = cv2.calcOpticalFlowPyrLK(old_gray, frame_gray, p0, None, winSize=(15, 15), maxLevel=2, criteria=(cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 0.03))

- old_gray: 上一帧单通道灰度图
- frame_gray: 下一帧单通道灰度图
- prePts：p0上一帧坐标pts
- nextPts: None
- winSize: 每个金字塔级别上搜索窗口的大小
- maxLevel: 最大金字塔层数
- criteria：指定迭代搜索算法的终止条件，在指定的最大迭代次数 10 之后或搜索窗口移动小于 0.03

flow = cv2.calcOpticalFlowFarneback(prvs, next, None, 0.5, 3, 15, 3, 5, 1.2, 0)

- prvs: 上一帧单通道灰度图
- next: 下一帧单通道灰度图
- flow: 流 None
- pyr_scale: 0.5经典金字塔，构建金字塔缩放scale
- level：3 初始图像的金字塔层数
- winsize：3 平均窗口大小，数值越大，算法对图像的鲁棒性越强
- iterations：15 迭代次数
- poly_n：5 像素邻域的参数多边形大小，用于在每个像素中找到多项式展开式；较大的值意味着图像将使用更平滑的曲面