湖州 网站建设,注册公司流程和费用图表,商城网站的建设方案,英文免费网站模板GAN#xff1a;生成对抗网络
Generator#xff08;生成器#xff09;概念 和传统的神经网络不同#xff0c;Generator除了接受x的输入之外#xff0c;还会接受一个简单的分布作为z进行输入#xff0c;从而使得网络的输出也是一个复杂的分布
为什么输出需要时一个分布呢…GAN生成对抗网络
Generator生成器概念 和传统的神经网络不同Generator除了接受x的输入之外还会接受一个简单的分布作为z进行输入从而使得网络的输出也是一个复杂的分布
为什么输出需要时一个分布呢以视频预测为例比如说在糖豆人游戏中我们需要预测视频的接下来的10帧是怎么样的 问题是传统的神经网络(NN)训练出来的结果在拐角处一个糖豆人会分裂为两个糖豆人一个向左一个向右这是因为在普通NN中糖豆人向左和向右都有可能是概率不同因此他将这两个结果都显示了出来
更抽象地说当我们的输出需要有一些“创造力”也就是面对一个输入需要有多个混合的输出的时候我们就需要Generator比如说在画图方面同样输入“白发红瞳”不同的人会画出不同的样子
因此其输入反而是一个相对低维度的向量而输出是一个很高维度的向量。比如说一个一维向量代表了生成动漫人物的特征发色、瞳距、表情等而输出则是一张动漫图片这肯定比输入要高纬度。刚开始的低维输入指的是x而为了给生成器一个基准我们还会输入一些动漫图片的采样这个就是z
GAN
除了Generator之外还需要一个Discriminator鉴别器他会输出一个数字用于评判输出符合输入的程度。
以动画生成为例 在GAN中第一次迭代几乎是随机生成的因此一般会生成一塌糊涂而鉴别器则会给出很低的分数比如鉴别器通过是否有眼睛判断是否是动漫 下一次迭代中生成器会进行优化尽量去满足第一代鉴别器的要求使得在鉴别器Gen 1中得到较高的分数 而鉴别器也会进化采用更加复杂的策略来进行评判
以此类推不断进化最后使得生成的结果越来越像输入x和z
进一步详细说明刚开始我们会传入x和一个分布z到GAN中 Step 1 固定生成器训练鉴别器 这个z实际上是一些动漫图片的采样因为如果是纯随机生成的一代GAN估计会跟电视坏了一样因此给一些适当的基准是好的
接着我们用真正的动漫图片作为数据集1并且对比数据集1和GAN生成的图片的差异用这个去生成能够将真实数据数据集1和GAN生成图片分离开来的鉴别器
Step 2 固定鉴别器Discriminator 训练生成器使得生成器产生出来的图片能够“欺骗”鉴别器因为鉴别器参数已经被固定了所以生成器可以不断改变自身参数生成出鉴别器更喜欢的图像从而提高鉴别器分数
反复进行Step1和Step2使得他们不断进化。也就是生成器不断调整参数使得它能够“欺骗”鉴别器使得鉴别器认为它生成的图片就是一张真实的动漫图片而鉴别器的任务则是仔细寻找生成图片和真实图片的区别使得它能够区分生成的图
Generator详解
以一维向量为例z作为一个随机采样的分布他采样是相对平均的而 P d a t a P_{data} Pdata表示的是真实数据可以看到经过生成器之后生成出来的 P G P_G PG已经很接近 P d a t a P_{data} Pdata了
简单来说生成器的评判标准和最优化反向是让生成结果 P G P_G PG尽量接近 P d a t a P_{data} Pdata公式如下 G ∗ a r g m i n G D i v ( P G , P d a t a ) G^* arg\:min_G\: Div(P_G, P_{data}) G∗argminGDiv(PG,Pdata) 也就是要对G进行取值使得Div(P_G, P_{data})最小也就是使得 P G P_G PG和 P d a t a P_{data} Pdata更接近 。
对鉴别器D的训练也是如此分别对 P G P_G PG和 P d a t a P_{data} Pdata进行采样。当 P G P_G PG和 P d a t a P_{data} Pdata中的点比较接近的时候 V ( D , G ) V(D,G) V(D,G)是较小的。但是对于鉴别器来说他的任务是要将生成的图片和真实的图片区分开来也就是 P G P_G PG和 P d a t a P_{data} Pdata分得越开越好因此 m a x D V ( D , G ) max_D\:V(D,G) maxDV(D,G)也就是寻找参数D使得 V ( D , G ) V(D,G) V(D,G)最大
实际上在公式 G ∗ a r g min G D i v ( P G , P d a t a ) G^* arg\:\min_G\: Div(P_G, P_{data}) G∗argminGDiv(PG,Pdata)中 D i v Div Div函数是很难计算的但好消息是 D i v ( ) Div() Div()的结果和 m a x D V ( D , G ) max_D\:V(D,G) maxDV(D,G)是近似的在此不作数学证明因此 G ∗ G* G∗可以写作 G ∗ a r g min G max D ( D , G ) G^* arg\:\min\limits_{G}\: \max_D\:(D,G) G∗argGminDmax(D,G) 也就是说生成器要寻找参数G使得 max D ( D , G ) \max_D\:(D,G) maxD(D,G)最小而鉴别器需要寻找参数D使得 D ( D , G ) D\:(D,G) D(D,G)最大。这就是GAN的对抗过程对应上面介绍的step1和step2因此方程G*就是GAN的最优化方程
GAN训练小技巧(施工中)
Wasserstein distance
对于 P G P_G PG和 P d a t a P_{data} Pdata他们的重叠空间可能及其小。如果数据维度越高那想要重合的难度也就越高。
第二个是因为在对 P G P_G PG和 P d a t a P_{data} Pdata处理的时候我们都是进行采样处理很难知道两个分布的全貌这也使得两个分布明明是重叠的但我们仅靠采样判断的话看似是可以画一条线将他们分开的。 P G P_G PG和 P d a t a P_{data} Pdata部分重叠代表着生成器在当前G1的参数下生成的内容是和真实样本相近的但是在鉴别器上他看起来和完全无重叠的情况一样也就是鉴别器会认为他们完全不相像这会使得生成器认为G1参数很烂从而不采用它 最简单的解决方案就是直接增加采样数量但是这会增加训练时间
后来有一种新方法称之为Wasserstein distance 这种方法类似一种推土机会整体地考虑两个点集之间的距离而非直接使用二分其最优化公式如下 max D ∈ 1 − L i p s c h i t z E x P d a t a [ D ( x ) ] − E x P G [ D ( x ) ] \max_{D\in1-Lipschitz}{E_{x~P_{data}}[D(x)]-E_{x~P_{G}}[D(x)]} D∈1−LipschitzmaxEx Pdata[D(x)]−Ex PG[D(x)]
GAN
GAN由生成器和鉴别器组成这也导致只要有其中一方出现问题就会导致整个系统瘫痪。
