Bootstrap

OpenCV相机标定与3D重建(66)对立体匹配生成的视差图(disparity map)进行验证的函数validateDisparity()的使用

  • 操作系统:ubuntu22.04
  • OpenCV版本:OpenCV4.9
  • IDE:Visual Studio Code
  • 编程语言:C++11

算法描述

使用左右检查来验证视差。矩阵 “cost” 应该由立体对应算法计算。
cv::validateDisparity 函数是 OpenCV 库中用于对立体匹配生成的视差图(disparity map)进行后处理的一个工具。其主要功能是对计算出的视差值进行验证,确保相邻像素间的视差值是合理的,并且符合左右图像的一致性检查。这有助于减少错误匹配和噪声,从而提高深度估计的准确性。

使用场景

  • 立体视觉应用:在需要高精度深度信息的应用中,如自动驾驶、机器人导航、增强现实等,使用 cv::validateDisparity 可以显著提高视差图的质量,进而提升系统的性能。
  • 3D重建:在基于立体图像的3D重建任务中,准确的视差图对于生成正确的三维模型至关重要。
  • 障碍物检测:在需要实时检测和避障的应用中,如无人机或自动机器人,高质量的视差图可以帮助更可靠地识别和避开障碍物。

函数原型

void cv::validateDisparity	
(
	InputOutputArray 	disparity,
	InputArray 	cost,
	int 	minDisparity,
	int 	numberOfDisparities,
	int 	disp12MaxDisp = 1 
)	

参数

  • InputOutputArray disparity:
    类型: 输入/输出参数
    说明: 这是待验证的视差图。它应该是一个单通道的矩阵,通常为 CV_16S 或 CV_32F 类型,表示每个像素点的视差值。经过 validateDisparity 处理后,不合理的视差值将被标记为无效(默认使用 CV_DISPARITY_INVALID_VALUE 或者用户定义的无效值)。
  • InputArray cost:
    类型: 输入参数
    说明: 代价体积(cost volume),由立体对应算法(如块匹配或半全局块匹配)计算得到。这个矩阵包含了每个可能的视差值的成本信息,帮助 validateDisparity 判断哪些视差值是可靠的。代价体积的尺寸应与 disparity 和 numberOfDisparities 对应。
  • int minDisparity:
    类型: 输入参数
    说明: 允许的最小视差值。所有低于这个值的视差都会被认为是无效的。这个参数定义了视差范围的下限。
  • int numberOfDisparities:
    类型: 输入参数
    说明: 在搜索范围内尝试的最大视差数量。视差的有效范围是从 minDisparity 到 minDisparity + numberOfDisparities - 1。这个参数定义了视差范围的上限,并且决定了代价体积的深度(即第三个维度的大小)。
  • int disp12MaxDisp = 1:
    类型: 输入参数(可选,默认值为 1)
    说明: 左右一致性检查中允许的最大差异。如果两个方向上的视差值差异超过了这个阈值,则认为该点的视差是不可靠的,并将其标记为无效。较大的值可能会容忍更多的误差,但也会导致更多的噪声通过验证。

代码示例

#include <iostream>
#include <opencv2/calib3d.hpp>  // 包含 validateDisparity 函数的头文件
#include <opencv2/opencv.hpp>
#include <opencv2/ximgproc/disparity_filter.hpp>  // 包含 WLS滤波器

using namespace cv;
using namespace std;

int main()
{
    // 读取左右图像 (假设为灰度图像)
    Mat imgL = imread( "/media/dingxin/data/study/OpenCV/sources/images/left.jpg", IMREAD_GRAYSCALE );
    Mat imgR = imread( "/media/dingxin/data/study/OpenCV/sources/images/right.jpg", IMREAD_GRAYSCALE );

    if ( imgL.empty() || imgR.empty() )
    {
        std::cout << "Could not open or find the images!" << std::endl;
        return -1;
    }

    // 创建 StereoSGBM 对象
    int minDisparity      = 0;
    int numDisparities    = 64;  // 必须是16的倍数
    int blockSize         = 5;
    int disp12MaxDiff     = 1;
    int uniquenessRatio   = 10;
    int speckleWindowSize = 100;
    int speckleRange      = 32;

    cv::Ptr< cv::StereoSGBM > sgbm = cv::StereoSGBM::create( minDisparity, numDisparities, blockSize, 8 * blockSize * blockSize, 32 * blockSize * blockSize, disp12MaxDiff, uniquenessRatio,
                                                             speckleWindowSize, speckleRange, cv::StereoSGBM::MODE_SGBM_3WAY );

    // 计算视差图
    cv::Mat disparity;
    sgbm->compute( imgL, imgR, disparity );

    // 规范化视差图以进行显示
    cv::Mat disp;
    disparity.convertTo( disp, CV_8U, 255 / ( numDisparities * 16. ) );
    cv::imshow( "disparity", disp );
    cv::waitKey( 0 );

    return 0;
}
;