2024年4月12日发(作者:怎么写数学试卷写的快)

262021,57(8)

ComputerEngineeringandApplications计算机工程与应用

生成对抗网络及其图像处理应用研究进展

王晋宇

1

,杨海涛

2

,李高源

1

,张长弓

1

,冯博迪

1

1.航天工程大学研究生院,北京101416

2.航天工程大学航天信息学院,北京101416

摘要:生成对抗网络(GAN)是一种基于对抗思想的架构体系。作为人工智能大发展背景下诞生的前沿算法,

GAN已经在图像处理的多个领域取得了显著的成果。从传统GAN的算法入手,对其模型架构、数学机理、优缺点进

行剖析。总结了具有代表性的GAN变体,并对GAN在图像处理方面的前沿应用进行介绍。结合现有GAN发展依

然存在的问题,对GAN的发展趋势进行了展望。

关键词:生成对抗网络;纳什均衡;结构变体;损失变体

文献标志码:A中图分类号:TP391doi:10.3778/.1002-8331.2011-0322

ResearchProgressofGenerativeAdversarialNetworkandItsApplicationinImageProcessing

WANGJinyu

1

,YANGHaitao

2

,LIGaoyuan

1

,ZHANGChanggong

1

,FENGBodi

1

teSchool,SpaceEngineeringUniversity,Beijing101416,China

ofSpaceInformation,SpaceEngineeringUniversity,Beijing101416,China

Abstract:GenerativeAdversarialNetwork(GAN)ting-

edgealgorithmbornunderthebackgroundofthegreatdevelopmentofartificialintelligence,GANhasmaderemarkable

ngwiththetraditionalGANalgorithm,themodelstructure,math-

ematicalmechanism,resentativeGANvariantsaresumma-

rized,edwiththeexistingproblemsinthe

developmentofGAN,thedevelopmenttrendofGANisprospected.

Keywords:GenerativeAdversarialNetwork(GAN);Nashequilibrium;structurevariant;lossvariant

深度学习于2012—2013年在计算机视觉领域成为

新的最优算法

[1]

。其最具有代表性的技术为卷积神经网

络和反向传播算法,以此为基础在计算机视觉领域产生

了重大的突破。图像生成算法是计算机视觉重要的研

究方向之一,传统的生成算法主要有特征变换法

[2]

、玻尔

兹曼机

[3]

、变分自编码器法

[4-5]

、近似推理马尔可夫链法

[6-8]

等,但是这类算法存在模型拟合简单、算法原理复杂的

缺点。GAN作为在深度学习大发展背景下产生的数据

生成算法,以其独特的双网络对抗思想在众多生成算法

中脱颖而出,在2016年Goodfellow等提出GAN以来,

相关领域的论文发表数量呈指数级增长。图1列出了

在论坛统计的GAN每年的发文数量,可以看出对GAN

的研究已经成为当前热门方向之一。

GAN是一个应用性较强的算法体系,其衍生变体

都围绕着高质量、多样性进行。发展历程目前经历了三

个阶段:

[9]

2020

图1GAN发文统计

(1)探索阶段(2014—2016年)

这个阶段GAN的算法刚开始被人们所接受,借助

其思想衍生出不同的GAN算法,如深度卷积式、条件

式、金字塔生成式。但是生成效果普遍一般,不能部署

于实际应用中,主要贡献在于为之后GAN的发展奠定

了基调。

(2)发展阶段(2016—2018年)

这个阶段是GAN发展较为旺盛的时期,突出特点

作者简介:王晋宇(1994—),男,硕士研究生,主要研究方向为深度学习、遥感图像处理,E-mail:********************;杨海涛

(1978—),通信作者,男,博士,副教授,主要研究方向为大数据分析、机器学习和数据挖掘。

收稿日期:2020-11-20修回日期:2021-01-25文章编号:1002-8331(2021)08-0026-10

王晋宇,等:生成对抗网络及其图像处理应用研究进展

2021,57(8)

27

为算法原理风格迥异,模型结构各不相同,但大都取得

了较好的效果。针对GAN模型坍塌、梯度消失等问题

进行了系统的探讨和研究。

(3)应用阶段(2018年至今)

这个阶段的GAN算法主要聚焦于图像处理、NLP、

视频处理等领域,应用性较强。在总结前人所研究算法

的基础上,针对不同的专题背景设计不同的GAN模

型。高复杂度、大计算量是这个时期GAN算法的突出

特征,样本生成的质量及多样性有了显著的提高。

上,G希望生成图像

G(z)

在D中可判定为真,而D希望

将真实图像

x

判定为真,生成图像

G(z)

判定为假。

GAN的目标函数如下:

minmax

V

(

D,G

)

=E

x~P

data

(

x

)

[

lbD

(

x

)

]

+

G

D

E

z~P

Z

(

z

)

lb1-D

(

G

(

z

)

)

[

()

]

(4)

从目标函数的角度来看,式(4)中

E

x~P

data

(

x

)

[

lbD

(

x

)

]

表示真实数据在D中的期望,需要最大化此项。

E

z~P

Z

(

z

)

lb1-D

(

G

(

z

)

)

表示生成数据在D中的期望,D

[

()

]

1生成对抗网络GAN

1.1GAN数学原理

KL散度也称为相对熵,是信息论中重要的内容,是

Q

,衡量两个分布之间差距的公式。设两个分布

P、

希望最大化此项,G希望最小化此项,这也是GAN对抗

过程的体现。在实际的训练过程中通常采用先固定G

训练D,后固定D训练G的思路。

GAN的突出特征在于双网络设计,明确地提出了

利用对抗训练方式可以很好地拟合真实数据分布,从而

达到样本生成的目的。同时GAN也存在一些弊端,使

(1)

得其训练过程产生不稳定的现象。主要体现在以下几点:

(1)无法处理离散数据

GAN的优化核心在于梯度更新,而这个过程建立

(2)

在函数可微的基础上,因此GAN不能很好地处理离散

数据,这也使得其在NLP等领域发展缓慢。

(2)模式坍塌

模式坍塌

[14]

是GAN最常见的失败方式,指生成的

数据只朝一个或有限个方向发展。造成的结果是输入

的数据往往含有多个种类的图像,而实际的生成图像却

只有一种或几种。

(3)梯度消失

在训练GAN网络的过程中,如果真实数据和生成

数据分布之间的距离过近,重叠程度过多的情况下,便

[10]

二者的相对熵为:

KL(P||Q)=

x∈X

P

(

x

)

lb

Q

(

x

)

P

(

x

)

KL散度的不对称性表达为:

KL(P||Q)≠KL(Q||P)

一般的,对于两个完全相同的函数,

KL=0

。KL

越大,函数之间的差异越大。但由于KL散度具有不对

称性,实现起来较为困难,因此在此基础上对式(3)取平

均,可以得到JS散度公式如下:

JS(P||Q)=

1

[KL(P||Q)+KL(Q||P)]

(3)

2

以JS散度为例,G的目标在于最小化JS散度,D的

目标在于最大化JS散度。

1.2模型架构及训练思路

最原始的GAN由GoodFellow提出,并在MNIST、

[11][12]

会造成梯度消失的问题。

TFD

、CIFIR-10等简单数据集上产生了不错的效果,

作为基于对抗思想的一种生成算法,主要由生成器G和

鉴别器D组成,模型架构如图2所示。

GAN的训练思路灵感来源于博弈论中的纳什均

衡,,即对抗的双方在非合作的博弈中都希望达到自

己所期望利益的最大值。如图所示,生成器可接收由隐

空间

Z

采样而来的随机噪声

z

,同时输出生成图像

同时输出图像的真假标

G(z)

。鉴别器可接收图像数据,

签。GAN架构的对抗部分体现在生成器G和鉴别器D

真实

数据

(data)

[13]

1.3评价方法

对于GAN算法的评价方法主要有主观评价和客观

评价两种,主观评价方法主要是基于人眼视觉而定,若

生成器可以生成人眼难以区分的样本数据,则可认为该

算法具有良好的生成能力。GAN主要利用各种评分算

法来进行模型生成效果的评估。最常用的客观评价方

法主要有IS

[15-16]

、FID

[17]

两种,二者可以同时对图像生成

质量和多样性进行评价。此外Neuroscore

[18]

、SWD

[19]

MMD

[20]

等方法也可用于客观评价中。

反馈

采样

真实图像

x

鉴别器

判定

真/假

D

损失

隐空间

Z

随机

噪声

(z)

生成器

G

生成图像

G(z)

反馈

图2GAN模型架构

282021,57(8)

ComputerEngineeringandApplications计算机工程与应用

(1)InceptionScore(IS)

IS最初应用于Imagenet

[21]

上。利用Imagenet训练

一个GAN网络,将其生成的样本输入已经经过预训练

的InceptionV3网络中,会返回一个判别概率值。对于

同一类别样本数据来说,其输出的概率应当趋向于集中

分布,而对于不同类别来说,其输出的概率应当趋向于

均匀分布。IS分数的公式如下:

IS(G)=exp(E

χ~P

g

D

KL

(P(y|χ)||P(y)))

(5)

式中,

χ~P

g

表示从样本空间

P

g

中生成图片

χ

P(y|χ)

表示生成图片属于某一类别的概率,

P(y)

表示所有类

别的边缘概率分布。IS分数实际上是在判断条件类分

布与类分布之间的KL距离,IS越大则模型的质量越

好。但IS在判断模型是否有过拟合缺陷方面并不敏感,

尤其是在大规模数据集上。同时由于IS只在生成模型

上进行预测,因此无法判断真实数据和样本间的距离。

(2)FréchetInceptionDistance(FID)

为了弥补上述IS分数的缺陷,FID可以反映生成样

本与真实数据之间的距离,其公式如下:

FID=

μ

r

g

+T

r

r

g

r

Σ

g

))

2

1

2

(6)

FID分数相较于IS具有较强的鲁棒性,其通过Incep-

tionV3网络来进行特征的提取,构成了真实样本和生成

样本两个概率分布。通过评价这两个分布之间的距离

来达到模型评价的目的,FID由于其优良的噪声抵抗能

力,在模型多样性评价方面具有更好的效果。但是FID

的缺点在于依然没有解决大规模数据集上无法进行模

型过拟合评价的问题。

IS和FID由于都经过了基于Imagenet的预训练网

络,因此实际上对于评价与Imagenet相差较远的图像来

说达不到预期效果。

2.1.1深度学习生成GAN

DCGAN

[23]

作为第一个将卷积神经网络思想引入

GAN中的算法,已经成为了GAN模型的基准

[24]

。深度

学习的任务是发现丰富的、有层次的模型

[25]

。而卷积神

经网络(CNN)由于其良好的平移不变性,成为了深度学

习代表性方法。真正意义上的CNN由文献[26]提出,

LeCun等人

[27]

利用LeNet-5提出了一种基于反向梯度传

播的算法。此后CNN快速发展,并广泛应用于图像处

理、自然语言处理等领域。

深度卷积生成对抗网络DCGAN是一种将CNN与

GAN有机结合的一种生成算法

[28]

。作为最大似然方法

的替代方案,其特点在于生成器和鉴别器的网络结构都

采用了卷积神经网络,且均没有使用池化层。

DCGAN采用“卷积+上采样”的设计方式,G可以进

行矢量加减,其使用的BN技巧极大地减小了初始化

训练时造成的不稳定学习问题。生成器的卷积层采用

ReLU

[29]

作为激活函数,输出层采用Tanh作为激活函数,

鉴别器激活函数全部采用LeakyReLU。在训练过程中

对D和G采用了批量归一化

[30]

的技巧。这样便不用考

虑在训练的过程中DropOut

[31]

、L2正则项等方法带来的

参数选择问题。作为一种典型的无监督学习算法,其反

向卷积神经网络(也称为转置CNN)用来生成样本,同

时也可以实现CNN特征的可视化,并表现出了良好的

效果

[32]

,DCGAN生成器结构如图3所示

[23]

2.1.2半监督生成GAN

GAN最初应用于无监督学习领域,而Odena提出的

SGAN

[33]

介绍了一种基于半监督学习的模型训练方法,

其结构如图4所示。半监督学习介于监督学习与无监

督学习之间,只需要提供在一定范围内的小样本集标

签。在此之前,Kingma等人

[34]

已经对半监督生成模型

进行了初步尝试,同时Springenberg

[35]

设计了一种基于

半监督学习的GAN,SGAN的结构图如图4所示,在原

始GAN架构的上加入了分类器C,在判别器中分别使

用Softmax

[36]

和Sigmoid

[37]

函数,这样可以在对样本真假

进行区分的同时,也能够对大量未标签的真实数据进行

分类。

2.1.3条件式生成GAN

传统的GAN中由随机噪声产生样本数据,因此存

在信息生成不可控的缺陷,训练过程自由度过高。van

denOord等人

[38]

指出利用类条件合成的方法可以显著

2GAN模型的发展变体

GAN诞生后,针对不同的计算性能及应用需求,衍

生出多种变体模型。GAN的发展变体大致分为基于结

构和基于损失函数两类

[22]

2.1基于结构变体的GAN

基于结构变体的GAN是生成对抗网络重要的创新

方向之一,本节分别从五个角度对其进行介绍,并重点

分析了其代表算法。总结如表1所示。

表1

核心思想

深度学习生成

半监督生成

条件式生成

渐进式生成

编解码生成

代表算法

DCGAN

SGAN

CGAN

LAPGAN

BEGAN

特点

结合深度学习,易于推广

可对大量未标签数据分类

增加训练稳定性,降低训练时间

上采样,提高生成图像尺寸

结构变体GAN

缺陷

不适用于文本数据的处理

仅增加了多分支的激活函数,限制了样本多样性

需要大量手工标注的条件数据

连续上采样,容易引入噪声

适用于人脸图像生成,无法生成自然图像平衡点均衡程度有明确指标,可以生成高质量图像

王晋宇,等:生成对抗网络及其图像处理应用研究进展

3

2021,57(8)

29

128

256

512

1024

100z

16

8

5

5

8

CONV1

Stride2

16

Stride2

5

5

32

5

5

32

CONV3

Stride2

64

5

5

Stride2

4

4

Projectandreshape

CONV2

64

CONV4

G(z)

图3

反馈

0,

1,

2,

分类

m

鉴别器D/

分类器C

生成图像

G(z)

判定

真/

DCGAN

如图5所示,此外,在条件式生成思想下,Chen等借

鉴了信息论的思想,提出了一种基于信息量最大化的生

成对抗网络InfoGAN

[41]

,试图利用信息论的知识来解释

无监督学习方式中的信息表征问题。Odena等人提出

损失

真实图像

x

随机

噪声

(z)

了AC-GAN

[42]

,并成功运用于大范围类别标签数据中。

生成器

G

反馈

图4SGAN

提高生成样本的质量。如图5所示,CGAN

[39]

在传统的

GAN网络中加入了附加条件信息

y

,用于控制G和D

的训练进程。其中

y

可以是类别标签,也可以是修复数

据的某一部分,或来自于不同的模态数据

[40]

。CGAN显

著提高了模型训练的稳定性,也为后续的条件式生成对

抗网络提供了参考,其目标函数及架构如下所示,其中

Y

作为D和G的附加输入层:

minmax

V

(

D,G

)

=E

x~P

data

(

x

)

lbD

(

x|y

)

+

G

D

E

z~P

Z

条件信息

y

真实图像

x

[]

é

lb

(

1-D

(

G

(

z|y

)

)

)

ù

()

ëû

z

(7)

反馈

随机

噪声

(z)

鉴别器

判定

真/

D

生成器

G

生成图像

G(z)

反馈

损失

图5CGAN

2.1.4渐进式生成GAN

渐进式生成算法的核心思想在于层层递进的生成

方式,不同的生成节点完成各自的生成任务。最具代表

性的为Denton等人提出的LAPGAN

[43]

,该结构的生成

器部分由一个串联的网络构成,可以将低分辨率的输入

图像转换为高分辨率的生成图像。拉普拉斯金字塔

[44]

是一种图像编码方式,LAPGAN的特点在于在金字塔

的每一层训练一个单独的生成对抗网络模型,是一种由

粗到细的图像生成框架。通过输入低分辨率的低维图

像,再将图像进行层层上采样操作,最终产生高维图

像。这样做的目的在于降低输入数据的复杂程度,同时

又可以提高图像生成的多样性。但是由于其在生成的

节点中容易引入噪声,因此会造成训练不稳定的问题。

LAPGAN有利于高分辨率的图像建模,但是对于指定

任务的图像生成较为困难。其结构如图6所示。

2.1.5编解码生成GAN

编解码是信息论重要的研究内容之一,即对信源符

号进行信息正向压缩,对信宿内容进行反解变换的过

程。在通信系统信息传输过程中,信源需要经过编码才

可传入信道,同样只有经过解码,信宿才可接收到信

息。由于信息在经过通信系统后会产生损耗,而编解码

方法可以提高数据压缩的效率和数据传输的准确度。

如李江等人利用编解码技术中的降噪自编码器原理,成

功实现了人脸表情识别

[45]

+

h

1

G

1

z

1

I

2

l

1

h

2

+

G

2

z

2

l

2

I

3

G

3

z

3

+

I

0

l

0

G

0

h

0

z

0

I

1

图6LAPGAN

302021,57(8)

ComputerEngineeringandApplications计算机工程与应用

BEGAN

[46]

作者借鉴了EBGAN

[47]

中编解码的思想,

在鉴别器中加入了一个自编码器。如图7所示,数据在

经过编解码后,与原输入信息相比会产生大小不同的损

失,称为重建损失。传统的GAN采用直接拟合真实分

布的策略,及通过计算真实分布与生成分布之间的距

离,来达到生成样本的目的。而BEGAN与之不同,它

重点计算数据重建之后分布误差之间的距离。若二

者接近的话,也可以完成训练任务。值得注意的是,

BEGAN第一次将GAN的均衡点进行了证明,同时提供

了一种可以平衡生成质量和多样性的超参数。

别器的目标函数变得平滑,但是这种方法容易造成训练

困难、收敛缓慢的问题。因此,文献[49]提出了WGAN-GP

算法,通过在原WGAN基础上加入惩罚项的方法,使得

判别器对

x

的输出梯度限制在了1以内,实现了与1-

Lipschitz约束条件等价的效果。

2.2.2统一框架f-GAN

f-GAN

[50]

提出了一种利用

f

散度进行GAN训练的

Q

之间的距离系列方法。该文指出在衡量两个分布

P、

时,不仅JS散度适用,任何满足条件的散度集合都可以

指导模型的训练。这个散度集合统称为

f

散度,其公式

如下:

æ

p

(

x

)

ö

D

f

(P||Q)=

x

q

(

x

)

f

ç÷

dx

()

qx

èø

其中,

f

满足两个条件,凸函数及

f(1)=0

2.2基于损失变体的GAN

损失函数是GAN对抗过程的重要体现之一,决定

着D和G的参数更新方向。在基于损失变体的GAN

中,分别从Wasserstein损失、统一框架

f

散度、最小二乘

损失角度进行总结,如表2所示。

表2

生成方式

WGAN

(10)

因此,在

f

散度框架下,只要能找出符合散度要求

的函数,便能够据此定义不同的目标函数,设计不同的

缺陷

权重剪枝导致训练困

难、收敛缓慢

样本生成多样性不足

f

函数适用场景未

进行定义

当D足够强大时,G依

然存在梯度弥散问题

损失函数变体GAN

特点

GAN。

f

函数如表3所示。

表3

散度

Pearsonχ

2

Neymanχ

2

解决了梯度消失问题

WGAN升级版,解决了权

f

散度框架函数

f(u)

u-1

2

u-1

2

u

ulbu

-ulbu

-

(

u+1

)

lb

1+u

ulbu

2

1

μ

α

-1-α

(

μ-1

)

α

(

α-1

)

WGAN-GP

重剪枝的不足,保持了训

练的稳定性

统一框架,增加了损失函

数设计能力

增加了决策边界分类能

力,提高了图像生成质量

f-GAN

LSGAN

KL散度

逆KL散度

JS散度

α

散度

2.2.1Wasserstein距离WGAN/WGAN-GP

传统的GAN在训练过程中,如果训练样本与生成

样本之间如果距离过近时,JS散度为一个常数,这时候

就会产生梯度消失问题。Arjovsky等人提出了一种基

于EM距离(也称推土机距离)的算法WGAN

[48]

,彻底解

决了GAN的梯度消失问题,同时也增加了训练的稳定

性。与KL、JS散度相比较,EM距离由于是连续的,即使

分布之间没有重叠也可以很好地计算距离。EM距离的

公式如下:

W

(

P,Q

)

=

V

(

G,D

)

=

γ∈Π

(

P,Q

)

()

infE

(

x,y

)

x-y

[]

G

(8)

根据EM距离,WGAN的目标函数为:

D∈1-Lipschitz

max

{

E

x~P

data

[

D

(

x

)

]

-E

x-P

[

D

(

x

)

]

}

(9)

WGAN存在无法直接实现1-Lipschitz约束条件的

缺点,在实际应用中使用权重剪枝的方法,使得判别器

更新后的值限制在

(-c,c)

范围内。这样可以强行使判

真实图像

x

2.2.3最小二乘LSGAN

LSGAN

[51]

是一种具有高质量图像生成和高稳定性

训练特征的GAN算法,其突出特征在于采用了最小二

乘原理。传统的GAN大多使用交叉熵、KL散度等作为

损失函数,在判别器判定某种分布为1的情况下,这些

样本便不会继续得到优化。这会使判定为真且远离决

策边界的假样本停止更新。而在最小二乘损失下,这些

样本会继续得到优化,从而有利于对假样本的排除,这是

使得生成图像质量更高的原因。LSGAN的目标函数为:

2

ù

+

()

min

V

LSGAN

(

D

)

=

1

E

x~p

data

(

x

)

é

Dx-b

()

ëû

D

2

1

E

é

DG

(

z

)

-a

2

ù

(

()

)

û

2

z~p

z

(

z

)

ë

2

ù

()

min

V

LSGAN

(

G

)

=

1

E

z~p

z

(

z

)

é

DGz-C

()

ëû

G

2

()

(11)

鉴别器D

编码器

Encoder

解码器

Decoder

重建损失

随机

噪声

(z)

生成器

G

生成图像

G(z)

图7BEGAN

王晋宇,等:生成对抗网络及其图像处理应用研究进展

3GAN在图像处理方面的应用

3.1高质量图像生成

GAN在设计之初就是为了进行图像的生成,围绕

高质量图像生成这一内容衍生出多种GAN算法。主要

分多样本训练、少样本训练、图像超分等方向。

针对多样本训练的GAN算法来说,DCGAN和

LAPGAN分别采用了CNN和拉普拉斯上采样两种方

法,但是二者都无法进行大尺寸图像生成。吴春梅等

[52]

利用DCGAN架构提出了一种基于深度学习的

GAN网络,实现了静态图像人体姿态估计。真正意义

上大尺寸图像生成的提出为ProGAN

[53]

,属于一种渐进

式生成GAN算法。利用渐进式神经网络

[54]

的思想提出

了一种增长型训练的方式,其核心在于动态更新的生成

器网络。这种图像生成技巧较大幅度地提高了训练的

有效性,但是由于其生成器模型需要不断更新,会带来

训练周期较长的问题,降低了训练效率。ProGAN在

CelebA中的训练效果如图8所示。

图8ProGAN

针对单样本或少样本学习来说,Li等人利用W损

失设计了一种生成对抗网络AFHN

[55]

用于少量样本学

习,通过加入分类和抗塌陷正则化器提高合成特征的多

样性。Shaham等人

[56]

提出了SinGAN,该算法可以从单

张的自然图像学习生成高质量图像,SinGAN将图像进

行切分,从而学习单张图像中某小块数据的分布。由于

使用全卷积网络,因此并不需要设定输入尺寸,可以生

成与原图相似,但有细微差别的高质量图像。

图像超分也是高质量图像生成的方式之一,其目的

在于通过算法将低分辨率的图像转为高分辨率的图像,

文献[57]第一次提出了这个问题。GAN在图像超分中

应用最广泛的算法为SRGAN

[58]

,这是第一个能够根据4倍

的放大因子推断出逼真的自然图像的框架。彭晏飞等

人提出了一种基于生成对抗网络的单张图像的超分辨

率重建方法

[59]

此外,武随烁等人将孪生注意力机制与GAN进行

结合,提出了一种新型GAN框架,证明了该方法能够更

加全面地获取图像中的特征信息,从而可以获得更高质

量的生成样本

[60]

。BiGAN

[61]

利用VAE架构,提出了一

种新的优化思路,BigGAN

[62]

算法使得Batch_size达到

了2048,也带来了高保真、高细粒度的生成样本。Big-

BiGAN

[63]

将BiGAN和BigGAN结合起来,弥补了DCGAN

的不足,使得图像生成质量进一步提高。

2021,57(8)

31

3.2图像变换

图像变换是GAN重要的应用方向之一,GAN强大

的函数拟合能力使其在风格迁移、人脸合成、场景渲染、

图像跨域等方面产生许多有价值的应用。

图像风格迁移是指将按照B图像的风格来生成A

图像的过程,这种应用主要在旧图像上色、模拟换装等

方面进行应用,Isola等人

[64]

讨论了Image-to-Image的通

用解决方案。在计算机视觉领域,图像生成大多都是将

已经输入的图片“转换”成对应的输出图片,实质上是一

个图片模仿的过程。CycleGAN

[65]

是图像风格转换最有

代表性的算法,核心思想为循环一致性,利用两个转换

器的损失所构成的重构误差来进行训练,并带来了许多

有趣的应用,如季节的转换、马与斑马的转换、油画风格

转换等。

StyleGAN

[66]

在人脸合成领域取得了较好的成果,其

将生成器的起点设置为一个常量,在网络的每个卷积层

中作用一个隐空间编码,来达到控制样式的目的。同时

借鉴了ProGAN中层层递进的思想,其结果如图9所示。

B

e

c

r

u

o

S

SourceA

图9StyleGAN

图像场景渲染是图像处理中一个富有挑战性的任

务,针对高分辨率白天图像渲染问题,文献[67]提出了

一种高分辨率日间转换模型(HiDT),HiDT的架构由

编解码器组成,并通过AdaIN

[68-69]

链接在一起。在训练

过程中用到了没有白天标签的静态景观数据集,利用

Image-to-Image以及文中新设计的上采样方案,可以达

到昼夜转换的效果。

图像跨域也是图像变换的常见问题之一,先前文

献[70]已经进行了相应的研究,实现了从边框生成手提

包的功能。在漫画领域,图像上色是一个费时费力的工

作,对于漫画自动上色问题早期在文献[71-73]中进行了

研究。对于素描图像来说,有着色彩单一、信息不够丰

富的缺点,对其进行颜色填充是近年来十分热门的方向

之一。2020年文献[74]提出了一种将素描风格转换为

图像风格的算法,该算法使用增强自参考的思想,设计

了一种特征转移模块,将参考点表示转移到了草图对应

的空间位置、获得了逼真的草图漫画上色效果。

3.3文本生成图像

文本生成图像是GAN领域富有创造性的研究方向

之一,同时也拥有广泛的应用前景。其主要目的是利用

322021,57(8)

ComputerEngineeringandApplications计算机工程与应用

现有的语言描述来生成对应特征的图像,Reed等人在

文献[75]设计了一种由文本生成图像的GAN算法,加入

了流形插值正则化器。文献[76]也进行了相应尝试,并

成功生成了符合语义条件的64×64图像。但是由于其细

节信息丢失严重,因此成像质量较差。针对基于文本引

导的高分辨率图像生成背景,StackGAN

[77]

产生了良好的

效果。其核心算法在于分阶段生成,文章又在整个训练

过程引入了条件强化技术,增加了生成对象的平滑特性。

同时,GAN在文本生成图像方面已经具有实际应

用,CookGAN

[78]

是一种基于文本生成菜单的GAN算法,

该文从图像因果链的角度来解决文本生成图像问题,可

以生成符合条件的菜肴样本。TiVGAN

[79]

设计了一种根

据文本可以生成视频序列的架构。

3.4图像修复

图像修复是指利用学习到的图像信息或者修复模

式,对受到损害的图像进行补全或修改的技术。图像修

复可以运用于图像补全、图像去模糊等众多场景中。早

期对于图像修复的研究见于文献[80-81]中,GAN由于

其具有良好的拟合真实分布的能力,在图像修复方面表

现出较好的效果。

在图像补全方面,UCTGAN

[82]

是一种新的基于GAN

的修复算法,采取了端到端的方式,通过条件编码器模

块、流形模块、生成模块三模块的设计,可以提供多个修

复方案,其效果如图10所示。实验证明对于人脸、街

景、自然风光修复方面,可以提供更好的解决方案。此

外,王海涌等人对传统GAN算法进行改进,将其应用于

局部遮挡的人脸表情识别中

[83]

图10UCTGAN

在图像去模糊方面,Engin等人

[84]

改进CycleGAN的

架构,可以有效去除图像中的雾。Lin等人

[85]

提出了基

于文档去阴影的应用场景。该算法提出了背景估计文

档阴影去除网络(BEDSR-Net),通过背景估计模块的设

计,学习了背景和非背景模块的空间分布信息,并将这

些信息编码为注意力地图。通过估计全局背景颜色和

注意力贴图,阴影去除网络可以更好地恢复无阴影图像。

4总结与展望

GAN在近年来已经成为了热门的研究方向。虽然

起步时间较晚,但是发展迅猛,在图像处理的众多领域

已经做出了重要贡献。作为一种无监督学习的方法,和

监督学习、半监督学习进行结合,同样可以产生良好的

效果。从长远来看,这种具有创造性的模型体制正处于

稳步上升阶段。但由于其本身存在模型坍塌、梯度消失

等问题,依然制约着其生成效果、训练效率、应用范围,

具体表现如下:

(1)图像生成多样性较低

图像生成多样性一直是GAN研究领域的重要问题

之一,传统GAN算法只能拟合小尺寸的简单数据集,生

成图像复杂度较低。此后GAN算法一直都围绕图像多

样性展开。现有的GAN算法已经可以生成难以区分的

高质量图像,但在图像多样性发展中会有众多因素制

约,往往会与图像尺寸、模型复杂度等其他因素产生矛

盾。例如,作为GAN与深度学习结合最具代表性的模

型,DCGAN使得图像生成多样性有所提高,但是其只

能局限在低分辨率图像生成范围内。CGAN由于加入

了条件约束,增加了训练稳定性,但是同时也造成了生

成多样性不足的缺陷。

(2)模型训练效率不足

模型训练效率的不足主要是指两点:

由模型坍

塌、梯度消失带来的训练不稳定;

复杂的模型结构及

冗余信息造成的训练周期过长。例如,LAPGAN由于

采用了多个生成器连续进行金字塔生成的方法,在一定

程度上有利于高分辨率建模,但是其训练过程产生的额

外噪声拖慢了训练速度。ProGAN在人脸生成上取得

了显著的成功,但是其动态更新的生成器使得图像生成

的整个过程变得异常缓慢,1024×1024的图像在高性

能计算机中训练时长可达16天之久。

(3)评价标准体系不完善

现有对GAN的评价指标主要有主观评价和客观评

价两种,存在以下几点问题:

主观评价标准的建立未

分级量化;

客观评价标准并未做到科学统一。

(4)算法应用领域研究不广泛

GAN在较短的发展年限内已经应用于多个领域,

但是多局限于图像处理范畴,许多算法只提及其可实现

的功能,而未说明其利用价值。且在诸如NLP等领域发

展缓慢。主要原因有:

具有实际利用价值的算法在

图像生成真实性上存在质疑,在主观视觉上无法满足应

用需求;

缺乏泛化能力,在实验数据上效果良好,但

无法移植到其他场景。例如,Li等人

[86]

于2017年提出的

一种基于复杂场景的图像修复方法,实际效果并不能达

到以假乱真。UCTGAN提供的多个修复方案中依然存

在一些失真问题,不被人眼视觉所能接受。CookGAN

针对烹饪过程进行语义上的建模,但应用于其他场合需

要进行大量的参数调整。

通过对现有GAN算法及其应用的归纳总结,以及

现阶段GAN存在问题的梳理,总结出以下几个可供发

展的方向,主要包括:

王晋宇,等:生成对抗网络及其图像处理应用研究进展

(1)注重基础算法研究,要解决实际问题,就要从结

构、损失函数角度进行算法的设计。如充分利用条件式

生成对抗网络以及深度学习原理,对流程架构进行调

整,并设计更加合理的约束条件。在保证图像生成质量

以及训练稳定性的前提下,增加图像的多样性生成能力。

(2)探讨内部机理,当前阶段GAN与深度学习已不

可分割,而深度学习目前依然是个黑箱,其内部机理的

研究不够深入,这也直接导致了GAN算法存在同样的

问题。因此选择合适的工具,探究现有算法内部的信息

流传递机理,以此来寻找制约模型训练失稳、周期较长

问题的解决方法,并加以改进。

(3)规范评价标准,明确标准建立的科学性、综合

性,注重跨领域融合。如可以参考已有的图像主观评价

标准,建立基于GAN的主观评价量化指标。针对生成

图像信息量的客观评价指标体系,对性能、过拟合程度

等指标进行系统研究并建模。

(4)扩大应用范围,注重算法跨领域移植的能力。

如可以将GAN图像生成应用于遥感图像智能处理中。

近年来GAN算法的数量成倍扩增,其中不乏可以直接

部署于遥感图像处理中的优良算法。如DCGAN可以

用于遥感数据样本扩增,SinGAN可以用于高分辨率单

景图像生成,CycleGAN可以用于时序数据修改,BEDSR-

Net可以用于遥感图像去云等。

5结束语

GAN在短短不足十年的发展中,所展现出的张力

对图像处理领域产生了巨大的冲击。从发展的三个阶

段来看,目前GAN算法的复杂性正不断提高,带来更好

使用效果的同时对计算资源的支撑也带来了不小的挑

战。总而言之,高质量、高多样性、强泛化能力依旧是GAN

在图像处理领域不变的主题。

参考文献:

[1]弗朗索瓦,张亮.Python深度学习[M].北京:人民邮电出版

社,2019:17-18.

[2]CHOIJY,SUNGKS,levehicles

detectionandtrackingbasedonscale-invariantfeature

transform[C]//Proceedingsof2007IEEEIntelligentTrans-

e,WA,USA:IEEE,

2007:528-533.

[3]SALAKHUTDINOVR,ltzmann

machines[C]//ArtificialIntelligenceandStatistics,2009:

448-455.

[4]KINGMADP,-encodingvariational

bayes[J].arXiv:1312.6114,2013.

[5]REZENDEDJ,MOHAMEDS,stic

backpropagationandapproximateinferenceindeepgen-

erativemodels[J].arXiv:1401.4082,2014.

[6]ACKLEYDH,HINTONGE,SEJNOWSKITJ.A

2021,57(8)

33

learningalgorithmforBoltzmannmachines[J].Cognitive

Science,1985,9(1):147-169.

[7]HINTONGE,OSINDEROS,earning

algorithmfordeepbeliefnets[J].NeuralComputation,

2006,18(7):1527-1554.

[8]HINTONGE,SEJNOWSKITJ,ann

machines:constraintsatisfactionnetworksthatlearn[Z].

Pittsburgh,PA:ment

ofComputerScience,1984.

[9]GOODFELLOWIJ,POUGET-ABADIEJ,MIRZAM,

tiveadversarialnetworks[J].arXiv:1406.2661,2014.

[10]LECUNY,andwrittendigitdata-

base[EB/OL].[2020-05-10].http:///exdb/mnist.

[11]SUSSKINDJ,ANDERSONA,onto

facedataset:TechnicalReportUTMLTR2010-001[R].2010.

[12]KRIZHEVSKYA,ngmultiplelayers

offeaturesfromtinyimages[J].HandbookofSystemic

AutoimmuneDiseases,2009,1(4).

[13]SIMONYANK,epconvolutional

neworksforlarge-scaleimagerecognition[J].arXiv:1409.

1556,2014.

[14]SRIVASTAVAA,VALKOVL,RUSSELLC,:

reducingmodecollapseinGANsusingimplicitvaria-

tionallearning[C]//AdvancesinNeuralInformationPro-

cessingSystems,2017:3308-3318.

[15]BARRATTS,ntheinceptionscore[J].

arXiv:1801.01973,2018.

[16]SALIMANST,GOODFELLOWI,ZAREMBAW,etal.

ImprovedtechniquesfortrainingGANs[J].arXiv:1606.

03498,2016.

[17]HEUSELM,RAMSAUERH,UNTERTHINERT,etal.

GANstrainedbyatwotime-scaleupdateruleconverge

toalocalNashequilibrium[C]//AdvancesinNeuralInfor-

mationProcessingSystems,2017:6626-6637.

[18]WANGZ,HEALYG,SMEATONAF,

neuralsignalstoevaluatethequalityofgenerativeadver-

sarialnetworkperformanceinfacialimagegeneration[J].

CognitiveComputation,2020,12(1):13-24.

[19]RABINJ,PEYRÉG,DELONJ,steinbary-

centeranditsapplicationtotexturemixing[C]//Interna-

tionalConferenceonScaleSpaceandVariational

,Heidelberg:Springer,

2011:435-446.

[20]GRETTONA,BORGWARDTKM,RASCHMJ,etal.

Akerneltwo-sampletest[J].TheJournalofMachine

LearningResearch,2012,13(1):723-773.

[21]DENGJ,DONGW,SOCHERR,et:alarge-

scalehierarchicalimagedatabase[C]//IEEEConference

onComputerVisionandPatternRecognition,2009:248-255.

[22]WANGZ,SHEQ,tiveadversarial

networksincomputervision:asurveyandtaxonomy[J].

arXiv:1906.01529,2019.

342021,57(8)

ComputerEngineeringandApplications计算机工程与应用

[23]RADFORDA,METZL,rvised

representationlearningwithdeepconvolutionalgenera-

tiveadversarialnetworks[J].arXiv:1511.06434,2015.

[24]曹仰杰,贾丽丽,陈永霞,等.生成式对抗网络及其计算机

视觉应用研究综述[J].中国图象图形学报,2018,23(10):

1433-1449.

[25]ngdeeparchitecturesforAI[M].[S.l.]:

NowPublishersInc,2009.

[26]LECUNY,BOSERB,DENKERJS,opa-

gationappliedtohandwrittenzipcoderecognition[J].

NeuralComputation,1989,1(4):541-551.

[27]LECUNY,BOTTOUL,BENGIOY,nt-

basedlearningappliedtodocumentrecognition[J].Pro-

ceedingsoftheIEEE,1998,86(11):2278-2324.

[28]廖茂文,潘志宏.GAN生成对抗网络原理剖析与Tensor-

Flow实践[M].北京:人民邮电出版社,2020:162-164.

[29]NAIRV,iedlinearunitsimproverestricted

Boltzmannmachines[C]//ProceedingsofICML,2010.

[30]IOFFES,ormalization:accelerating

deepnetworktrainingbyreducinginternalcovariate

shift[C]//InternationalConferenceonMachineLearning,

2015:448-456.

[31]HINTONGE,SRIVASTAVAN,KRIZHEVSKYA,etal.

Improvingneuralnetworksbypreventingco-adaptation

offeaturedetectors[J].arXiv:1207.0580,2012.

[32]ZEILERMD,izingandunderstand-

ingconvolutionalnetworks[C]//EuropeanConferenceon

:Springer,2014:818-833.

[33]-supervisedlearningwithgenerativeadver-

sarialnetworks[J].arXiv:1606.01583,2016.

[34]KINGMADP,MOHAMEDS,JIMENEZREZENDE

D,-supervisedlearningwithdeepgenerative

models[C]//AdvancesinNeuralInformationProcessing

Systems,2014:3581-3589.

[35]rvisedandsemi-supervised

learningwithcategoricalgenerativeadversarialnet-

works[J].arXiv:1511.06390,2015.

[36]LIUW,WENY,YUZ,-marginsoftmaxloss

forconvolutionalneuralnetworks[C]//ProceedingsofThe

33rdInternationalConferenceonMachineLearning,

2016:507-516.

[37]ELFWINGS,UCHIBEE,d-weighted

linearunitsforneuralnetworkfunctionapproximationin

reinforcementlearning[J].NeuralNetworks,2018,107:3-11.

[38]VANDENOORDA,KALCHBRENNERN,ESPEHOLT

L,ionalimagegenerationwithpixelcnndecod-

ers[C]//AdvancesinNeuralInformationProcessingSys-

tems,2016:4790-4798.

[39]MIRZAM,ionalgenerativeadver-

sarialnets[J].arXiv:1411.1784,2014.

[40]GOODFELLOWI,MIRZAM,COURVILLEA,etal.

Multi-predictiondeepBoltzmannmachines[C]//Advances

inNeuralInformationProcessingSystems,2013:548-556.

[41]CHENX,DUANY,HOUTHOOFTR,N:

interpretablerepresentationlearningbyinformationmaxi-

mizinggenerativeadversarialnets[C]//AdvancesinNeu-

ralInformationProcessingSystems,2016:2172-2180.

[42]ODENAA,OLAHC,ionalimagesyn-

thesiswithauxiliaryclassifiergans[C]//InternationalCon-

ferenceonMachineLearning,2017:2642-2651.

[43]DENTONEL,CHINTALAS,ner-

ativeimagemodelsusingaLaplacianpyramidofadver-

sarialnetworks[C]//AdvancesinNeuralInformationPro-

cessingSystems,2015:1486-1494.

[44]BURTP,lacianpyramidasa

compactimagecode[J].IEEETransactionsonCommu-

nications,1983,31(4):532-540.

[45]SHOCHERA,GANDELSMANY,MOSSERII,etal.

Semanticpyramidforimagegeneration[C]//Proceed-

ingsoftheIEEE/CVFConferenceonComputerVision

andPatternRecognition,2020:7457-7466.

[46]BERTHELOTD,SCHUMMT,:bound-

aryequilibriumgenerativeadversarialnetworks[J].arXiv:

1703.10717,2017.

[47]ZHAOJ,MATHIEUM,-basedgener-

ativeadversarialnetwork[J].arXiv:1609.03126,2016.

[48]ARJOVSKYM,CHINTALAS,stein

GAN[J].arXiv:1701.07875,2017.

[49]GULRAJANII,AHMEDF,ARJOVSKYM,ed

trainingofwassersteingans[C]//AdvancesinNeuralInfor-

mationProcessingSystems,2017:5767-5777.

[50]NOWOZINS,CSEKEB,TOMIOKAR.f-GAN:training

generativeneuralsamplersusingvariationaldivergence

minimization[C]//AdvancesinNeuralInformationPro-

cessingSystems,2016:271-279.

[51]MAOX,LIQ,XIEH,quaresgenerative

adversarialnetworks[C]//ProceedingsoftheIEEEInter-

nationalConferenceonComputerVision,2017:2794-2802.

[52]吴春梅,胡军浩,尹江华.利用改进生成对抗网络进行人

体姿态识别[J].计算机工程与应用,2020,56(8):96-103.

[53]KARRAST,AILAT,LAINES,ssivegrow-

ingofGANsforimprovedquality,stability,andvaria-

tion[J].arXiv:1710.10196,2017.

[54]RUSUAA,RABINOWITZNC,DESJARDINSG,etal.

Progressiveneuralnetworks[J].arXiv:1606.04671,2016.

[55]LIK,ZHANGY,LIK,arialfeaturehallu-

cinationnetworksforfew-shotlearning[C]//Proceedings

oftheIEEE/CVFConferenceonComputerVisionand

PatternRecognition,2020:13470-13479.

[56]SHAHAMTR,DEKELT,:learn-

ingagenerativemodelfromasinglenaturalimage[C]//

ProceedingsoftheIEEEInternationalConferenceon

ComputerVision,2019:4570-4580.

[57]TSAIRY,rameimagerestoration

王晋宇,等:生成对抗网络及其图像处理应用研究进展

andregistration[C]//AdvancesinComputerVisionand

ImageProcessing,1984:317-339.

[58]LEDIGC,THEISL,HUSZÁRF,-realistic

singleimagesuper-resolutionusingagenerativeadver-

sarialnetwork[C]//ProceedingsoftheIEEEConference

onComputerVisionandPatternRecognition,2017:

4681-4690.

[59]彭晏飞,高艺,杜婷婷,等.生成对抗网络的单图像超分辨

率重建方法[J].计算机科学与探索,2020,14(9):1612-1620.

[60]武随烁,杨金福,单义,等.使用孪生注意力机制的生成对

抗网络的研究[J].计算机科学与探索,2020,14(5):833-840.

[61]DONAHUEJ,KRÄHENBÜHLP,-

sarialfeaturelearning[J].arXiv:1605.09782,2016.

[62]BROCKA,DONAHUEJ,cale

GANtrainingforhighfidelitynaturalimagesynthesis[J].

arXiv:1809.11096,2018.

[63]DONAHUEJ,caleadversarial

representationlearning[C]//AdvancesinNeuralInforma-

tionProcessingSystems,2019:10542-10552.

[64]ISOLAP,ZHUJY,ZHOUT,-to-image

translationwithconditionaladversarialnetworks[C]//

ProceedingsoftheIEEEConferenceonComputerVision

andPatternRecognition,2017:1125-1134.

[65]ZHUJY,PARKT,ISOLAP,edimage-to-

imagetranslationusingcycle-consistentadversarialnet-

works[C]//ProceedingsoftheIEEEInternationalCon-

ferenceonComputerVision,2017:2223-2232.

[66]KARRAST,LAINES,-basedgenera-

torarchitectureforgenerativeadversarialnetworks[C]//

ProceedingsoftheIEEEConferenceonComputerVision

andPatternRecognition,2019:4401-4410.

[67]ANOKHINI,SOLOVEVP,KORZHENKOVD,etal.

High-resolutiondaytimetranslationwithoutdomainlabels[C]//

ProceedingsoftheIEEE/CVFConferenceonComputer

VisionandPatternRecognition,2020:7488-7497.

[68]HUANGX,arystyletransferin

real-timewithadaptiveinstancenormalization[C]//Pro-

ceedingsoftheIEEEInternationalConferenceonCom-

puterVision,2017:1501-1510.

[69]LIUMY,HUANGX,MALLYAA,-shotunsu-

pervisedimage-to-imagetranslation[C]//Proceedingsof

theIEEEInternationalConferenceonComputerVision,

2019:10551-10560.

[70]KIMT,CHAM,KIMH,ngtodiscovercross-

domainrelationswithgenerativeadversarialnetworks[J].

arXiv:1703.05192,2017.

[71]ZHANGR,ISOLAP,ulimagecol-

orization[C]//EuropeanConferenceonComputerVision.

Cham:Springer,2016:649-666.

[72]LARSSONG,MAIREM,-

orizationasaproxytaskforvisualunderstanding[C]//

2021,57(8)

35

ProceedingsoftheIEEEConferenceonComputerVision

andPatternRecognition,2017:6874-6883.

[73]LARSSONG,MAIREM,-

ingrepresentationsforautomaticcolorization[C]//Euro-

:Springer,

2016:577-593.

[74]LEEJ,KIME,LEEY,nce-basedsketchimage

colorizationusingaugmented-selfreferenceanddense

semanticcorrespondence[C]//ProceedingsoftheIEEE/CVF

ConferenceonComputerVisionandPatternRecogni-

tion,2020:5801-5810.

[75]REEDS,AKATAZ,YANX,tiveadversarial

texttoimagesynthesis[J].arXiv:1605.05396,2016.

[76]MANSIMOVE,PARISOTTOE,BAJL,ting

imagesfromcaptionswithattention[J].arXiv:1511.02793,

2015.

[77]ZHANGH,XUT,LIH,an:texttophoto-

realisticimagesynthesiswithstackedgenerativeadver-

sarialnetworks[C]//ProceedingsoftheIEEEInternational

ConferenceonComputerVision,2017:5907-5915.

[78]ZHUB,N:causalitybasedtext-to-

imagesynthesis[C]//ProceedingsoftheIEEE/CVFCon-

ferenceonComputerVisionandPatternRecognition,

2020:5519-5527.

[79]KIMD,JOOD,:texttoimagetovideo

generationwithstep-by-stepevolutionarygenerator[J].

IEEEAccess,2020,8:153113-153122.

[80]BERTALMIOM,VESEL,SAPIROG,ane-

ousstructureandtextureimageinpainting[J].IEEETrans-

actionsonImageProcessing,2003,12(8):882-889.

[81]BARNESC,SHECHTMANE,FINKELSTEINA,etal.

PatchMatch:arandomizedcorrespondencealgorithmfor

structuralimageediting[J].ACMTransGraph,2009,28

(3):24.

[82]ZHAOL,MOQ,LINS,:diverseimage

inpaintingbasedonunsupervisedcross-spacetranslation[C]//

ProceedingsoftheIEEE/CVFConferenceonComputer

VisionandPatternRecognition,2020:5741-5750.

[83]王海涌,梁红珠.基于改进的GAN的局部遮挡人脸表情

识别[J].计算机工程与应用,2020,56(5):141-146.

[84]ENGIND,GENÇA,-dehaze:

enhancedCycleGANforsingleimagedehazing[C]//Pro-

ceedingsoftheIEEEConferenceonComputerVision

andPatternRecognitionWorkshops,2018:825-833.

[85]LINYH,CHENWC,-Net:a

deepshadowremovalnetworkfromasingledocument

image[C]//ProceedingsoftheIEEE/CVFConferenceon

ComputerVisionandPatternRecognition,2020:12905-12914.

[86]LIY,LIUS,YANGJ,tivefacecompletion[C]//

ProceedingsoftheIEEEConferenceonComputerVision

andPatternRecognition,2017:3911-3919.


更多推荐

生成,图像,算法,训练,进行