python 利用imgaug进行图像数据增强

图像识别训练的时候，为了增加数据集，一般需要进行图像数据增强，常用的有镜像，位移，旋转等，但是在带有目标框的图像进行变换时，往往要同时对目标框进行变换，处理起来十分不方便，而imgaug模块就为我们提供了这些功能，十分的方便。

显示目标框

步骤十分简单

• 读取图片，转换为矩阵
• 定义包含目标框的类BoundingBoxesOnImage，里面包括了多个目标框BoundingBox

from imgaug.augmentables.bbs import BoundingBox
from imgaug.augmentables.bbs import BoundingBoxesOnImage
import imgaug.augmenters as iaa
from PIL import Image
import numpy as np
img = Image.open("./img/street.jpg")
img = np.array(img)
bbs = BoundingBoxesOnImage([
    BoundingBox(x1=30, y1=550, x2=280, y2=950),
    BoundingBox(x1=400, y1=350, x2=500, y2=470)
], shape=img.shape)
Image.fromarray(bbs.draw_on_image(img, size=4)).show()

利用imgaug.augmenters提供的各种函数进行图像数据增强

一般使用imgaug.augmenters.Sequential将多种变换组合起来，最后直接统一应用就行

缩放加平移

from imgaug.augmentables.bbs import BoundingBox
from imgaug.augmentables.bbs import BoundingBoxesOnImage
import imgaug.augmenters as iaa
from PIL import Image
import numpy as np
augmentations = iaa.Sequential([
    iaa.Affine(scale=(0.8, 0.9), translate_percent=(-0.2, 0)),
])
img = Image.open("./img/street.jpg")
img = np.array(img)
bbs = BoundingBoxesOnImage([
    BoundingBox(x1=30, y1=550, x2=280, y2=950),
    BoundingBox(x1=400, y1=350, x2=500, y2=470)
], shape=img.shape)
Image.fromarray(bbs.draw_on_image(img, size=4)).show()
img, bbs = augmentations(image = img, bounding_boxes=bbs)
print(bbs)

并且目标框的输出为：

>BoundingBoxesOnImage([BoundingBox(x1=-37.8677, y1=405.7585, x2=175.4141, y2=747.0094, label=None), BoundingBox(x1=277.7894, y1=235.1330, x2=363.1021, y2=337.5083, label=None)], shape=(1330, 1330, 3))

目标框的位置与大小跟随了图片的变化而变变化，没有图像的地方会自动填充黑色。

超出图像显示范围的框

在上面可以看到输出x1=-37.8677,为一个复数，显然这是不能用作训练的，用以下方式处理即可

bbs = bbs.clip_out_of_image()

这用超出显示范围的框就会置为图像边界

有概率发生变化

我们不想让图像增强每一次都发生，只是有概率地发生，因此，我们可以使用iaa.Sometimes来指定图像数据增强

iaa.Sequential([
    iaa.Sometimes(0.5, iaa.Fliplr(1)) 
])
# 本来是一定会翻转图片，现在是0.5的概率翻转

更多变换函数

在imgaug.augmenters.Sequential中还可以包含许多变换函数。

在下面的函数中，默认import imgaug.augmenters as iaa

1. 缩放、平移、旋转

iaa.Affine(scale=(0.8, 0.9), translate_percent=(-0.2, 0), rotate=(-90,90))

2.调整宽高比

    iaa.PadToAspectRatio(1.0,position="center-center")
    # 宽高比调整为1：1，多余部分填充黑色，图片居中

3.调整图像大小

iaa.Resize((416, 416)) #调整为416*416大小

4.锐化图像

iaa.Sharpen((0.0, 0.1))

5.改变亮度

iaa.AddToBrightness((-60, 40))

6.色调随机值

iaa.AddToHue((-255, 255))

7.翻转图片

iaa.Fliplr(0.5)