TRADES：Theoretically Principled Trade-off between Robustness and Accuracy

本文将对抗样本的预测误差分解为自然误差和边界误差的综合，利用分类校准损失理论提供了一个可微的上界。该上界时所有概率分布和可测量预测量的最紧的可能上界。同时设计出了一种新的防御方法：TRADES，用来抵消对抗稳健性和准确性。

主要贡献

1）理论上，通过将鲁棒误差分解为自然误差和边界误差之和，来描述分类问题的准确性和鲁棒性之间的权衡。利用了分类校准损失理论，给出了这两个项的可微上界，证明了它是所有概率分布和可测预测因子上最严格的一致上界。

2）算法上，受理论的分析的启发提出了一种新的对抗性防御形式，即TRADES，作为优化正则化替代损失。损失由两项组成：经验风险最小化项鼓励算法最大化自然精度，而正则化项鼓励算法将决策边界推离数据，以提高对抗鲁棒性

符号说明

粗体大写字母表示随机向量，粗体小写字母表示随机向量的实现，大写字母表示随机变量，小写字母表示随机变量的实现。

前言

误差

有界 $\epsilon$ 扰动威胁模型下的鲁棒（分类）误差：

自然分类误差：

$R_{rob}(f)$ 是关于分类器f存在对抗样本的样本点的测度。

$R_{nat}(f)$ 是f正确分类真实样本的概率，并且 $R_{rob}\geq R_{nat}$

边界误差：

在实际中，想要最优化0-1 loss是很困难的，往往用替代的 $loss\varnothing$ ，定义为：

在自然误差和边界误差中都涉及到了0-1损失函数，本文的目标是设计这两个向的紧可微上界，为了实现这一目标，利用了分类校准损失理论。

classification-calibrated surrogate loss

分类校准损失，对于 $\eta \in [0,1]$ ,条件风险定义为：

假设1（分类校准损失）：假设替代损失 $\varphi$ 是经过分类校准的，这意味着对任何的 $\eta \neq 1/2$ ，有 $H^{-}(\eta )>H(\eta)$ 。

该假设对于分类问题是不可缺少的，因为没有它，贝叶斯最优分类器就不能是风险的最小化者。

性质;

(最后一句话的意思是描述了替代损失与非分类校准损失的接近程度)

引理2.1：在假设1 的条件下，函数 $\psi$ 具有以下性质：在[0,1]上，该函数为非递减连续凸函数，并且 $\psi (0)=0$ 。

通过这个标定的损失函数的性质，可以推得优化函数的上界。

Relating 0-1 loss to surrogate loss

上界

定理3.1：

在假设1的条件下，对于任何非负损失函数 $\varphi$ ，任何可测量的 $f:\chi \rightarrow \mathbb{R}$ ,在 $\chi \times {}{[\pm 1}]$ 的任何概率分布，任何 $\lambda >0$ 有：

对抗样本存在的正式理由：学习模型容易受到小型对抗攻击，因为数据位于模型决策边界附近的概率比较大，故小扰动可能会将数据点移动到决策边界的错误一侧，导致分类模型的鲁棒性较弱。

下界

定理3.2：假设 $\left | \chi \right |\geq 2$ ，在假设1的条件下，对于任何的非负损失函数 $\phi$ ，以至于 $\phi (x)\rightarrow 0$ 代表 $x\rightarrow \infty$ ，任意 $\xi >0,\theta \in [0,1]$ ,存在一个概率分布，在 $\chi \times {}{[\pm 1}]$ ,一个函数f个一个正则化参数 $\lambda >0$ ，以至于 $R_{rob}(f)-R_{nat}^{*}=0$ 并且有：

定理3.2证明了在损失函数存在额外条件的情况下，定理3.1中上界很紧。

算法

优化：

定理3.1和3.2阐明了对抗性防御算法设计，为了最小化 $R_{rob}(f)-R_{nat}^{*}$ ，要最小化：

(3)捕捉了自然错误和鲁棒错误之间的权衡:(3)中的第一项通过最小化f (X)和Y之间的“差”来优化自然错误，而第二项正则化则通过最小化自然例子f (X)和对抗性例子f (X0)的预测的“差”来促进输出的平滑，即通过最小化自然例子f (X)和对抗性例子f (X0)的预测的“差”来推动分类器的决策边界远离样本实例。