对抗训练理论分析：自适应步长快速对抗训练

该论文是关于对抗训练理论分析性的文章，目前对抗训练及其变体已被证明是抵御对抗攻击的最有效防御手段，但对抗训练的过程极其缓慢使其难以扩展到像 ImageNet 这样的大型数据集上，而且在对抗训练的过程中经常会出现模型过拟合现象。在该论文中，作者从训练样本的角度研究了这一现象，研究表明模型过拟合现象是依赖于训练样本，并且具有较大梯度范数的训练样本更有可能导致灾难性过拟合。因此，作者提出了一种简单但有效的方法，即自适应步长对抗训练 （ATAS）。

ATAS 学习调整与其梯度范数成反比的训练样本自适应步长。理论分析表明，ATAS 比常用的非自适应算法收敛得更快，在对各种对抗扰动进行评估时，ATAS 始终可以减轻模型的过拟合现象，并且该算法在 CIFAR10、CIFAR100和ImageNet 等数据集上实现更高的模型鲁棒性。

论文标题：

Fast Adversarial Training with Adaptive Step Size

论文链接：

https://arxiv.org/abs/2206.02417