计算机视觉学习知识框架体系总结整理

计算机视觉的三个基本任务：

1）对象检测(object detection)

2）对象跟踪(object tracking)

3）对象分割(object segmentation)

一：Features and filters

1.1 Filtering

滤波的作用在于：

Enhance an image (denoise, resize, etc) 增强图片，降噪调整等
Extract information (texture, edges, etc) 提取信息，纹理边缘等
Detect patterns (template matching) 检测，模板匹配等

常见噪声：

Salt and pepper noise: random occurrences of black and white pixels 椒盐噪声（白黑点）
Impulse noise: random occurrences of white pixels 脉冲噪声（白点）
Gaussian noise: variations in intensity drawn from a Gaussian normal distribution （高斯噪声）

1.1.1 Linear filters

correlation filtering

Averaging filter -smoothing by average

Gaussian filter -smoothing with a Gaussian

滤波的一个例子比如：sharpening 锐化

1.1.2 Gradients and edges

边缘检测的主要步骤Primary edge detection steps:

1. Smoothing: suppress noise 平滑：抑制噪声

2. Edge enhancement: filter for contrast

3. Edge localization 边缘定位

Determine which local maxima from filter output are actually edges vs. noise

•Threshold, Thin

1.1.3 Temple matching

1.2 Features

1.2.1 Texture纹理

1.2.2 SIFI

SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。在现今的电脑硬件速度下和小型的特征数据库条件下，辨识速度可接近即时运算。SIFT特征的信息量大，适合在海量数据库中快速准确匹配。

1.2.2.1 SIFT算法的特点

SIFT算法具有如下一些特点：
     1）SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；
     2）独特性（Distinctiveness）好：信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；
     3）多量性：即使少数的几个物体也可以产生大量的SIFT特征向量；
     4）高速性：经优化的SIFT匹配算法甚至可以达到实时的要求；
     5）可扩展性：可以很方便的与其他形式的特征向量进行联合。

1.2.2.2 SIFT特征检测编辑

SIFT特征检测主要包括以下4个基本步骤：
    1）尺度空间极值检测
          搜索所有尺度上的图像位置。通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点。
    2）关键点定位
          在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。
    3）方向确定
          基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
    4）关键点描述
          在每个关键点周围的邻域内，在选定的尺度上测量图像局部的梯度。这些梯度被变换成一种表示，这种表示允许比较大的局部形状的变形和光照变化。

1.2.2.3 SIFT特征匹配

SIFT特征匹配主要包括2个阶段：
第一阶段：SIFT特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量。
第二阶段：SIFT特征向量的匹配。