Bootstrap

超分之最近邻插值、线性插值、双线性插值、双三次插值原理

插值与图像插值

  • 插值:利用已知数据去预测位置数据。
  • 图像插值:给定一个像素点,根据它周围像素点的信息来对该像素点的值进行预测。

  图像插值问题类似于拟合问题,二者均为函数逼近或数值逼近的重要组成部分。但是两者的在于:对于给定的函数,插值:要求离散点“坐落在”函数曲线上从而满足约束;而 拟合:则希望离散点尽可能地 “逼近” 函数曲线。

图像插值示例(三倍放大):
  对于原图像的坐标点 (红色实心点),其在新图像上都能确定一一对应的坐标点 (红色实心点)。而对于新图像中因放大而的多出坐标点 (蓝色圈叉),则在原图像中找不到对应点了。
  插值技术就是通过某些规则/规范/约束(特定的拟合函数),获取这些多出坐标点的像素值。在这里插入图片描述
一维示例

  • ( x i − 1 , f ( x i − 1 ) ) 、 ( x i , f ( x i ) ) 、 ( x i + 1 , f ( x i + 1 ) ) (x_{i-1}, f(x_{i-1}))、(x_i,f(x_{i}))、(x_{i+1},f(x_{i+1})) (xi1,f(xi1))(xi,f(xi))(xi+1,f(xi+1)):已知的三个离散点坐标
  • f ( x ) f(x) f(x):插值算法的约束条件。
    如果想得到更密集、更精细的点,则可以给定坐标 x 1 x^1 x1 ,根据插值约束 f ( x ) f(x) f(x)得到对应的函数值 f ( x 1 ) f(x^1) f(x1)
    在这里插入图片描述
    总而言之,不同的插值方式,就是通过给定不同的插值函数约束,来得到不同的插值结果。

不同的插值方法

最近邻域插值(Nearest Neighbor Interpolation)

  • 一维示意图
    一维的最近邻插值的示意图
      坐标轴上各点 x i − 1 , x i , x i + 1 . . . x_{i-1},x_{i},x_{i+1} ... xi1xixi+1...两两对半等分间隔 (红色虚线划分),从而非边界的各坐标点都有一个等宽的邻域,并根据每个坐标点的值构成一个类似分段函数的函数约束,从而使各插值坐标点的值等同于所在邻域原坐标点的值。

  • 二维示意图
    在这里插入图片描述
       ( x 0 , y 0 ) 、 ( x 0 , y 1 ) 、 ( x 1 , y 0 ) 、 ( x 1 , y 1 ) (x_0, y_0)、(x_0, y_1)、(x_1, y_0)、(x_1, y_1) (x0,y0)(x0,y1)(x1,y0)(x1,y1)都是原图像上的坐标点,灰度值分别对应为 Q11、Q12、Q21、Q22。而灰度值未知的插值点 (x, y),根据最近邻插值方法的约束,其与坐标点 (x0, y0) 位置最接近 (即位于 (x0, y0) 的邻域内),故插值点 (x, y) 的灰度值 P = Q11。

  • 简而言之
    最近邻于插值:根据周围至少一个已知像素点,未知像素点x距离哪个已知像素点最近,他的像素值就是离已知像素点的像素值。
    在这里插入图片描述

线性插值 (Linear Interpolation)

  • 一维示意图
    在这里插入图片描述
      坐标轴上各点 x i − 1 , x i , x i + 1 . . . x_{i-1},x_i,x_{i+1} ... xi1xixi+1...的值“两两直接相连”为线段,从而构成了一条连续的约束函数。而插值坐标点例如 x,根据约束函数其值应为 f(x)。

  • 二维示意图
    在这里插入图片描述
       ( x 0 , y 0 ) 、 ( x 1 , y 1 ) (x_0, y_0)、(x_1, y_1) (x0,y0)(x1,y1)都是原图像上的坐标点,灰度值分别对应为 y0 和 y1。而灰度值未知的插值点 x,在 ( x 0 , y 0 ) 、 ( x 1 , y 1 ) (x_0, y_0)、(x_1, y_1) (x0,y0)(x1,y1)构成的一次函数上,其灰度值 y 即为:
    y = y 0 + ( x − x 0 ) y 1 − y 0 x 1 − x 0 y = y_0 + (x - x_0)\frac{y_1-y_0}{x_1-x_0} y=y0+(xx0)x1x0y1y0

  • 简而言之
    线性插值:根据周围至少两个已知像素点,来构造一个线性函数,将未知像素点x带入,从而求出该未知像素点的像素值。

双线性插值 (Bilinear Interpolation)

  • 定性斜视示意图
    在这里插入图片描述
      坐标轴上 ( x 0 , y 0 ) 、 ( x 0 , y 1 ) 、 ( x 1 , y 0 ) 、 ( x 1 , y 1 ) (x_0, y_0)、(x_0, y_1)、(x_1, y_0)、(x_1, y_1) (x0,y0)(x0,y1)(x1,y0)(x1,y1)均为原图像上的像素坐标点,灰度值分别对应为 f ( x 0 , y 0 ) 、 f ( x 0 , y 1 ) 、 f ( x 1 , y 0 ) 、 f ( x 1 , y 1 ) f(x_0, y_0)、f(x_0, y_1)、f(x_1, y_0)、f(x_1, y_1) f(x0,y0)f(x0,y1)f(x1,y0)f(x1,y1)。而灰度值未知的插值点 (x, y),根据双线性插值法的约束:

    1. 先由 ( x 0 , y 0 ) 和 ( x 0 , y 1 ) (x_0, y_0) 和 (x_0, y_1) (x0,y0)(x0,y1)在 y 轴向作一维线性插值得到 像素点 ( x 0 , y ) (x_0, y) (x0,y)的像素值 f ( x 0 , y ) f(x_0, y) f(x0,y)、由像素坐标点 ( x 1 , y 0 ) 和 ( x 1 , y 1 ) (x_1, y_0) 和 (x_1, y_1) (x1,y0)(x1,y1) 在 y 轴向作一维线性插值得到 像素点 ( x 1 , y ) (x_1, y) (x1,y)的像素值 f ( x 1 , y ) f(x_1, y) f(x1,y)
    2. 再由 ( x 0 , y ) 和 ( x 1 , y ) (x_0, y) 和 (x_1, y) (x0,y)(x1,y)在 x 轴向作一维线性插值得到插值点 ( x , y ) (x, y) (x,y) 的像素值 f ( x , y ) f(x, y) f(x,y)( 一维线性插值先作 x 轴向再作 y 轴向,得到的结果完全相同,仅为顺序先后的区别)
  • 二维定量俯视示意图
    在这里插入图片描述

这里: 一维线性插值先作 x 轴向再作 y 轴向

  1. 先由像素坐标点 ( x 0 , y 0 ) 和 ( x 1 , y 0 ) (x_0, y_0) 和 (x_1, y_0) (x0,y0)(x1,y0)在 x轴向作一维线性插值得到 像素点 ( x , y 0 ) (x, y_0) (x,y0)的像素值 f ( x 0 , y ) f(x_0, y) f(x0,y)
    f ( x , y 0 ) = x 1 − x x 1 − x 0 f ( x 0 , y 0 ) + x − x 0 x 1 − x 0 f ( x 1 , y 0 ) f(x, y_0) = \frac{x_1 - x}{x_1 - x_0}f(x_0, y_0) + \frac{x - x_0}{x_1 - x_0}f(x_1, y_0) f(x,y0)=x1x0x1xf(x0,y0)+x1x0xx0f(x1,y0)
    由像素坐标点 ( x 0 , y 1 ) 和 ( x 1 , y 1 ) (x_0, y_1) 和 (x_1, y_1) (x0,y1)(x1,y1) 在 x 轴向作一维线性插值得到 像素点 ( x , y 1 ) (x, y_1) (x,y1)的像素值 f ( x 1 , y ) f(x_1, y) f(x1,y):
    f ( x , y 1 ) = x 1 − x x 1 − x 0 f ( x 0 , y 1 ) + x − x 0 x 1 − x 0 f ( x 1 , y 1 ) f(x, y_1) = \frac{x_1 - x}{x_1 - x_0}f(x_0, y_1) + \frac{x - x_0}{x_1 - x_0}f(x_1, y_1) f(x,y1)=x1x0x1xf(x0,y1)+x1x0xx0f(x1,y1)
  2. 再由 ( x , y 0 ) 和 ( x , y 1 ) (x, y_0) 和 (x, y_1) (x,y0)(x,y1)在 y 轴向作一维线性插值得到插值点 ( x , y ) (x, y) (x,y) 的像素值 f ( x , y ) f(x, y) f(x,y)
    f ( x , y ) = y 1 − y y 1 − y 0 f ( x , y 0 ) + y − y 0 y 1 − y 0 f ( x , y 1 ) f(x, y) = \frac{y_1 - y}{y_1 - y_0}f(x, y_0) + \frac{y - y_0}{y_1 - y_0}f(x, y_1) f(x,y)=y1y0y1yf(x,y0)+y1y0yy0f(x,y1)
  • 简而言之
    线性插值:根据周围至少四个已知像素点,先将四个像素点两两在x轴作线性插值,得到未知像素y轴方向的两个像素值,然后将其在y轴作线性插值,最终得到目标像素点的像素值
    在这里插入图片描述

双三次插值 (Bicubic Interpolation)

  插值点 (x, y) 的像素值 f(x, y) 通过矩形网格中 最近的十六个采样点的加权平均 得到,而 各采样点的权重由该点到待求插值点的距离确定,此距离包括 水平和竖直 两个方向上的距离。

  • 二维俯视示意图
    在这里插入图片描述
      设待求插值点坐标为 (i+u, j+v),已知其周围的 16 个像素坐标点 (网格) 的灰度值,还需要计算 16 个点各自的权重。
      以像素坐标点 (i, j) 为例,因为该点在 y 轴和 x 轴方向上与待求插值点 (i+u, j+v) 的距离分别为 u 和 v,所以的权重为 w(u) × w(v),其中 w(·) 是插值权重核 (可以理解为定义的权重函数)。同理可得其余 15 个像素坐标点各自的权重。那么,待求插值点 (i+u, j+v) 的灰度值 f(i+u, j+v) 将通过如下计算得到:
    f ( i + u , j + v ) = A × B × C f(i+u, j+v) = A × B × C f(i+u,j+v)=A×B×C
    其中,各项由向量或矩阵表示:
    d1
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    插值权重核W(·)为:
    W ( x ) = { ( a + 2 ) ∣ x ∣ 3 − ( a + 3 ) ∣ x ∣ 3 + 1 f o r   ∣ x ∣ ⩽ 1 a ∣ x ∣ 3 − 5 a ∣ x ∣ 2 + 8 a ∣ x ∣ − 4 a f o r   1 < ∣ x ∣ < 2 0 o t h e r w i s e , a 通常取 − 0.5 W(x)=\begin{cases} (a+2)|x|^3 - (a+3)|x|^3 + 1 & for \ |x| \leqslant 1\\ a|x|^3 - 5a|x|^2 + 8a|x| - 4a & for \ 1<|x|<2 \\ 0 & otherwise \end{cases},a通常取-0.5 W(x)= (a+2)x3(a+3)x3+1ax35ax2+8ax4a0for x1for 1<x<2otherwisea通常取0.5

当a = -0.5时, W(·)为:
W ( x ) = { 1.5 ∣ x ∣ 3 − 2.5 ∣ x ∣ 3 + 1 f o r   ∣ x ∣ ⩽ 1 − 0.5 ∣ x ∣ 3 + 2.5 ∣ x ∣ 2 − 4 ∣ x ∣ + 2 f o r   1 < ∣ x ∣ < 2 0 o t h e r w i s e , a 通常取 − 0.5 W(x)=\begin{cases} 1.5|x|^3 - 2.5|x|^3 + 1 & for \ |x| \leqslant 1\\ -0.5|x|^3 +2.5|x|^2 -4|x| +2 & for \ 1<|x|<2 \\ 0 & otherwise \end{cases},a通常取-0.5 W(x)= 1.5∣x32.5∣x3+10.5∣x3+2.5∣x24∣x+20for x1for 1<x<2otherwisea通常取0.5

在这里插入图片描述
参考链接:

双三次插值算法(bicubic interpolation)与图形学和计算方法的关系

【图像处理】详解 最近邻插值、线性插值、双线性插值、双三次插值

;