Towards Automated Testing and Robustification by Semantic Adversarial Data Generation

Abstract

作者提出了一种语意对抗训练编辑器，该方法可以合理的合成一种困难样本，用来使目标模型失效，反过来说，如果在训练时使用该方法也可以让模型更加鲁棒。

1. Introduction

合成的样本在数据集分布之外，但人眼任然可以识别。作者通过真实数据点入手，通过一个可微分合成器模型进行约束语义编辑。该编辑器将物体的形状与外观颜色分离，并保证数据的姿势不变，从而保证了变化的最小化与真实性。

该方法的关键技术就是将合成图像的外观颜色变化限制在真实数据的形状之内：

• 从真实数据中抽取某一类的数据作为一组指导数据
• 利用指导数据对目标对象优化，得到一个新的数据，该数据有着目标对象的形状与指导数据的颜色

主要贡献：

• 提出一种自动测试计算机视觉模型缺点的方法
• 设计了一个能够解耦合物体形状与外观颜色的合成器网络
• 合成的图片任然在真实图片的分类边界内，但具有其他图像的外观颜色，由此可以欺瞒目标网络
• 提高网络泛化能力

2. Related works

该工作可以实现：

• 已有网络的鲁棒性测试
• 语义对抗攻击
• 数据扩充
• 网络泛化

3. Synthesizing Sementic Adversarial Object

两个贡献：

• 保持目标形状不变，改变其外观颜色，该过程由一个二值部分分割网络构成
• 提出了一种新的优化公式

3.1 Synthesizer design

（1） shape coder

该网络有一个Unet结构构成：

• 输入：RGB图像
• 输出：$Z\in R^{K\times M\times N}$;其中$K$是将图片分割的份数，$M,N$是尺寸，$Z_{kij}$是指在每一个通道的 { i , j } {i,j} {i,j}位置上被定义为$K$区域的概率

为了将物体的形状与外观颜色分割，我们需要让$Z$只利用空间布局上的信息

获取part—probability：$P_{kij}=softma{x}_k[Z_{ij}]$

通过采样变为二值mask：${\Omega }_{kij}=gumbel\_softma{x}_k[P_{ij}]$

（2）Appearance encoder

由CNN编码

输入：RGB图像

输出：$A\in R^{D\times M\times N}$

这个外观颜色输出$A$对应着分割的区域数量被减少为$K$个部分，表达为：$V=[v_1,v_2,...,v_k]$，其中每一个$v$都是由$A$与$P$相乘得来；
$$v_k=\sum _{ij}{P}_{kij}{A}_{ij}$$

（3） Decoder Network

输入RGB图像$y$，得到appearance vector ：$V^y$

输入RGB图像$x$，得到binary part segmentation ：${\Omega }^x$

外观颜色向量首先映射到相对应的二值部分分割图中来重建空间表现图 ：${\tilde{A}}^y=V^y{\Omega }^x$

解码器结构采用空间自适应归一化层，以不同的分辨率输入appearance code，生成四通道输出（图像+mask）

（4） Training the Synthesizer

Adversarial discriminator：$D$

Autoencode：由重建模型的损失$l1$和分割mask的交叉熵损失进行优化

步骤：

• 由$x$做简单的仿射变换得到$T(x)$，此为成对数据，由此可以利用由${\Omega }^{T(x)}$提取的形状与由$V^x$提取的外观颜色重建$x$
• 通过the discriminator real/fake loss和cyclic reconstruction loss训练模型将外观颜色迁移到任意随机图片$y$：$xy=V^x{\Omega }^y$
• 获取$xy$的外观颜色$V^{xy}$，重建原始输入$\tilde{x}=G({\Omega }^x,V^{xy})$

此外${\Omega }^{T(x)}=T({\Omega }^x)$

整理损失函数如下：
$$L_r=|x-G({\Omega }^x,V^x)|+|T(x)-G({\Omega }^{T(x)},V^x)|+|x-G({\Omega }^x,V^{xy})|\text{\hspace{1em}(1)}$$

$$L_D=D(G({\Omega }^x,V^x))+D(G({\Omega }^{T(x)},V^x))+D(G({\Omega }^x,V^x))\text{\hspace{1em}(2)}$$

$$L_a=||V^x-V^{T(x)}||+||V^x-V^{xy}||\text{\hspace{1em}(3)}$$

$$L_p=-P^{T(x)}\log (T(P^x))\text{\hspace{1em}(4)}$$

3.2 Synthesizing Semantic Adversaries

• input：$x\in C$
• shape ：${\Omega }^x$
• appearance：$V^x$
• detector：O
• canva image：$C^{-x}$
• synthesize：$C^{-x}+G({\Omega }^x,V^x)$

最后

以上就是等待棒球最近收集整理的关于Towards Automated Testing and Robustification by Semantic Adversarial Data Generation论文阅读笔记Towards Automated Testing and Robustification by Semantic Adversarial Data Generation的全部内容，更多相关Towards内容请搜索靠谱客的其他文章。