文章目录

0 引言

1 相关工作

1.1 对抗攻击方法介绍

1.2 对抗防御方法介绍

2 深度模型和黑盒攻击的基本定义

2.1 黑盒模型的表示

2.2 黑盒攻击的表示

3 基于激活函数变换的动态防御方法

3.1 基于概率信息隐私保护的防御验证

    3.1.1 目标模型概率信息保护的指数机制

    3.1.2 针对基于梯度估计的黑盒攻击的防御验证

    3.1.3 针对基于模型等价的黑盒攻击的防御验证

    3.1.4 针对基于概率优化的黑盒攻击的防御验证

3.2 基于概率信息保护的softmax激活变换

    3.2.1 基于概率信息保护的softmax激活变换

    3.2.2 攻击无关性和防御快速性分析

    3.2.3 基于局部敏感度的概率信息保护

3.3 可变隐私保护变换系数的动态防御

3.4 SAT保持正常样本识别的单调性证明

3.5 SAT的防御复杂度分析

4 实验与结果

4.1 实验设置

4.2 基于梯度估计的黑盒攻击防御效果对比

4.3 基于模型等价的黑盒攻击防御效果对比

4.4 基于概率优化的黑盒攻击防御效果对比

4.5 SAT与其他防御方法的防御代价对比

4.6 SAT抵御黑盒攻击的有效性分析

4.7 敏感性分析

5 结束语

文章摘要:深度学习广泛应用于图像处理、自然语言处理、网络挖掘等各个领域并取得良好效果，但其容易受到对抗攻击、存在安全漏洞的问题引起广泛关注。目前已有一些有效的防御方法，包括对抗训练、数据变化、模型增强等方法。但是，依然存在一些问题，如提前已知攻击方法与对抗样本才能实现有效防御、面向黑盒攻击的防御能力差、以牺牲部分正常样本的处理性能为代价、防御性能无法验证等。因此，提出可验证的、对抗样本不依赖的防御方法是关键。提出了softmax激活变换防御（SAT,softmax activation transformation），这是一种针对黑盒攻击的轻量级的快速防御。SAT不参与模型的训练，在推理阶段对目标模型的输出概率进行隐私保护加固并重新激活，通过softmax激活变换与深度模型防御的连接定义，证明通过softmax函数的变换后能实现概率信息的隐私保护从而防御黑盒攻击。SAT的实现不依赖对抗攻击方法与对抗样本，不仅避免了制作大量对抗样本的负担，也实现了攻击的事前防御。通过理论证明SAT的激活具有单调性，从而保证其防御过程中正常样本的识别准确率。在激活过程中，提出可变的softmax激活函数变换系数保护策略，在给定范围内随机选择隐私保护变换系数实现动态防御。最重要的一点，SAT是一种可验证的防御，能够基于概率信息隐私保护和softmax激活变换推导其防御的有效性和可靠性。为了评估SAT的有效性，在MNIST、CIFAR10和ImageNet数据集上进行了针对9种黑盒攻击的防御实验，令所有攻击方法的平均攻击成功率从87.06%降低为5.94%，与多种先进黑盒攻击防御方法比较，验证了所提方法可以达到最优防御性能。

文章关键词:

论文分类号:TP18

文章来源：《现代防御技术》 网址: http://www.xdfyjszz.cn/qikandaodu/2022/0424/493.html