Adversarial Texture for Fooling Person Detectors in the Physical World

本文提出了对抗纹理的想法（AdvTexture），与基本补丁攻击不同对抗纹理可以生成任意大小，可以覆盖任意大小的不了，并且纹理的任何局部都有对抗性的效果。当衣服被对抗纹理覆盖是，摄像头捕捉到的每一个局部区域都可以攻击探测器，这成功解决了片段缺失的问题。

提出了一种两阶段生成方法：基于环形收割的可扩展生成攻击（TC-EGA）来制作广告纹理。

第一阶段，训练一个全卷积网络FCN作为生成器，通过采样随机潜变量作为输入来产生纹理（不同于GAN中传统的生成器架构，每一层都使用卷积运算）

第二阶段，利用环面裁剪技术TC搜索潜在变量的最佳局部模式，优化后，可以通过平铺局部模式来生成一个足够大的潜在变量。将其输入到FCN，得到AdvTexture。

方法

Adversarial Patch Generator

$\tau$ ：整个布被AdvTexture覆盖

$\widetilde{\tau }$ :被提取的patch。

假设 $\widetilde{\tau }$ 遵循 $p_{adv}$ 分布，因此当其对抗有效性更显著时，概率 $p_{adv}(\widetilde{\tau})$ 更高。使用能量函数 $U(\widetilde{\tau})$ 来模拟这个分布：

配分函数：

由于配分函数的存在，很难直接从 $p_{adv}(\widetilde{\tau})$ 上进行采样，因此使用参数生成器 $G_{\varphi }:z\rightarrow \widetilde{\tau}$ 来近似 $p_{adv}(\widetilde{\tau})$ ，其中 $z\sim N(0,1)$ , $q_{\varphi }(\widetilde{\tau})$ 作为 $\widetilde{\tau}=G_{\varphi }(z)$ 的分布，定义为：

$p_{z}$ 为标准正态分布N(0,1)的概率密度函数（probability density function (PDF)） $\delta(\cdot )$ 为狄拉克函数。为了更精确的表达 $p_{adv}(\widetilde{\tau})$ ,调整 $G_{\varphi }$ 最小化KL散度 $KL(q_{\varphi (\widetilde{\tau })}||p_{adv}(\widetilde{\tau}))$ ，借助DIM得到定理：

最小化 $KL(q_{\varphi (\widetilde{\tau })}||p_{adv}(\widetilde{\tau}))$ 等价于：

其中：

等式（3）中，第一项被称作Adversary Objective Function，最小化它可以提高生成补丁的对抗有效性。第二项被称作Information Objective Function，最小化它相当于最大化z和 $\widetilde{\tau}$ 的互信息，需要不同的潜变量来生成不同的patch。

The Adversary Objective Function

通过对z和 $\widetilde{\tau}$ 进行采样可以的到对抗目标函数':

检测器在接收图像时输出多个边界框，每个框都有一个置信度得分。如果置信度得分低于预先指定的阈值，则将过滤掉这些框。需要设置一个合适的能量函数，使能量降低导致人的探测器检测失败。选择箱体上置信度得分的期望作为能量函数U(̃τ)的一部分。然后最小化adv对象函数，就会降低方框的置信度，使方框更容易被过滤掉。

具体而言：在每一步中随机生成patch，并根据变换期望(EoT)对尺度、对比度、亮度和附加噪声进行随机化等一系列物理变换。

还加入了随机薄板自旋(TPS)变形作为额外的随机变换。然后，我们根据训练集中x图像上的预测框，将补丁随机地贴在人身上。

使用 $M(x,\widetilde{\tau})$ 表示上述过程，得到修改后的图像，然后将其送入目标检测器。能量函数的定义为：

式中f为目标检测器预测框的置信度得分。

我们使用总方差(TV)损失的可微变化作为能量函数的另一部分，以鼓励补丁更平滑:

能量函数最终定义为：

流程图为：

The Information Objective function

在等式4中采用了辅助网络 $T_{\omega }$ 来增加z和 $\widetilde{\tau}$ ，该辅助网络的结构为：

为了估计第一项，从N(0,1)中采样z，然后再每个训练步骤中通过G生成 $\widetilde{\tau}$ ，为了估计第二项，我们保持 $\widetilde{\tau}$ 并重新采样z。

Toroidal-Cropping-based Expandable Generative Attack（基于环面收割的可扩展生成攻击）

Stage One: Train an Expandable Generator

目标是训练一个生成器，使他可以通过随机z作为输入，生成任意大小的patch，关键是构造一个FCN赋予生成器平移不变的属性所用层都是零填充的卷积层，潜在变量是一个BxCxHxW张量。

使用FCN的原因：假设对抗纹理 $\tau$ 由全局生成器G和潜在变量Z产生， $\tau_{i,j,w,h }$ 表示提取的块，中心位于整个纹理的（i，j)位置，形状为（w,h）, $\tau_{i,j,w,h }$ 可以看出是子发生器的输出。

在训练时，在形状B × C × Hmin × Wmin中采样一个小z，并在每个训练步骤中生成相应的patch。
之后，可以通过将任意H≥Hmin和W≥Wmin的z随机化来产生任意大小的不同纹理。

Stage Two: Find the Best Latent Pattern

引入了环面裁剪(TC)技术，其目的是优化局部模式 $z_{local}$ 作为一个单元，这样最终的潜在变量z可以通过平铺多个相同单元产生。
其中， $z_{local}$ 可参数化为形状为B ×C ×L×L的张量，形状超参数为L，可视为拓扑上二维环面T2的展开平面.因此，任意形状的潜在变量可以通过递归的方式从 $z_{local}$ 裁剪(图6b)，这可以看作是在环面上的裁剪。
我们称这种作物操作为 $Crop_{tours}$ 。

在优化过程中，采用这种裁剪技术将潜在变量zsample随机抽取为形状为B × C × Hmin × Wmin的样本。
由于我这个阶段只考虑对手的有效性，所以我们通过zsample生成补丁，最小化对手的损失(Eq.(5))。
优化后，可以通过平铺zlocal产生一个任意大小的潜在变量。