2023年12月30日发(作者：温江中考数学试卷真题答案)
第35卷第5期
哈尔滨商业大学学报(自然科学版)Journal
of
Harbin
University
of
Commerce
(Natural
Sciences
Edition)2019
年
10
月
Vol.
35
No.
5Oct.
5019Trace
-
Ratio问题的两种解法及其应用赵守明（中国海洋大学数学科学学院，山东青岛266100）摘
要：线性判别分析（LDA）作为一种降维技术，已成功应用于许多分类问题中，如语音识别、人脸
识别、信息提取等领域.许多降维问题最后都会归结为一个Trace
-
Ratio（迹比）问题,也就是通过寻
找一个列规范正交矩阵X
e瓗\"三r）能够使得比值黒最大化,其中矩A
e瓗\"\"阵是对£r（X
BX）称的矩阵，矩阵B
e瓗心是对称正定矩阵.迹比问题在线性判别分析以及一些其他应用中占有至关
重要的地位.但是迹比问题没有解析形式的解.介绍了
Foley
-
Sammoo变换的背景和国内外发展现
状.给出了求解迹比问题的两种方法：逐次解法和牛顿法.改进了构造逐次解的具体方法，并且给出
了逐次解的数值估计；给出了牛顿法的具体算法和二阶收敛性的证明.实验表明若将逐次解作为初
始迭代点代入牛顿法中可以大大减少牛顿法的迭代次数，提高牛顿法的迭代速度.关键词:降维;线性判别分析;迹比；初始点；逐次解;牛顿法中图分类号：0242.2
文献标识码：A
文章编号：1672
-0946（2019）05
-0626
-04Two
solutions
of
Tracr-Ratio
prablem
and
its
applicationsZHAO
SSoo-ming(School
of
Mathematical
Sciences,
Ocean
University
of
China,
Qingdao
266160,
China)Abstraci:Linear
discriminaci
analysis
(LDA)
has
been
successfuHy useS
as
a
dimnsionli-
ty
reauction
th
many
classification
problemc,
such
ac
spnch
recognition,
Uce
recognition
ang
informatioo
retrievei.
Many
dimension
aCcction
proOlemc
will
eveatcaliy ba
attrinuteC
to
tie
trace
ratio
optimizdtion
proWem
(
TRP)
which
mnimizas
tha
ratio
of
two
matrio
tracac,
P(X)
二
trace{X
BX),
which
X
ic
a
n
Xr,(/i
M
厂)column
orthonoanai
matix,
A
e瓗
“ic
a
symmetwc
matix,
Be瓗
讣\"if
a
symmCric
positive
definiia
matix.
Ii
hac
a
crnciai
role
in
lineaa discrimindni
ddysis
ang
haf
manydppacdtionf
as
weli.
But
TRP
does
noi
ddmit
locci
noi
-
glonai
maximiza.
This
pdpar
reviewea
the
bachnI■onnn
ani
develonmeai
sta-
tcs
of
Foley
-
Sammon
transfoan.
Stuciea
soma
efficieai
iterative
preceaaref
to
directiy
solve
Wiv
ratio
0(01x^00(1
proniem,
ndmely,
successive
solution,
Newton
methon.
Tha
main
research
achievemeal
were
as
Ubows
:
the
successive
solution
was
introbccea,
ang
the
methob
to
constrcct
the
succasive
solution
was
直/的,and
concluced
the
ngmericai
ystimation
of
the
successive
solution.
Newton
methob
was
introbccea
,
igcluaing its
specific
algorithm.
Thesecang
-
otCvt
converaeace
of
Newton
methob
were
also
givea.
The
soccessive
solution
cen
be
sucstOuWa
into
Newton
methob as
mitiV
iteration points
to
reacco
the
iteration
times
of
Newton
woait:
dimeasionality
reacction;
ligeac
.1800X111311
analysif;
trace
ratio
p
initim
valce;收稿日期：2216
-05 -l1.作者简介:赵守明（1994
-），男，硕士，研究方向：计算数学,E
-
mail：@
165.
20m
第5期赵守明:Trace
-
Ratio问题的两种解法及其应用-627
-successive
solution
；
Newton
method特征提取是解决数据降维的一种非常有效的
方法,到现在为止已经提出了一系列的特征提取方
q7
=
010
⑴如此进行r步,得到弘，…令P(
=
q：Aq,,
则有法•其中，Foley
- Sammon变换(FST)
[1]是目前最
有效的方法之一，它是基于Fvher判别准则的判
P(r)
W
P(r~l)
w
…W
P⑴=儿
(1)
取
=
21,
■■■,q)］为
Trace
-
Ratio
问题的
近似解，由于21,…,,)是逐次求得的，我们称之为
别方法.Sammon在1970年基于Fisher线性判别法
提出了最优判别平面[3]
-
1770年Foley和Sammon
一同将这个方法扩展应用在最优判别向量集上，就
是一步一步使用Foley
-
Sammon变换来逐渐获得
最优判别向量集•这个方法一经问世便吸引了众多
模式识别领域专家和学者的关注⑷，广泛应用于
图像分类和人脸识别，并且提出了在不同条件
下「5-0
]
FST的求解方法，其中最为有效的是Lv提
出的方法2
]-Gcn基于Foley
-
Sammon变换提出广义Foley
-Sammon变换，提出了一种新的求解迹比问题的
算法2
]——二分法•但是该算法存在收敛较慢，且
不稳定的问题-Wang等人提出了一种基于牛顿法
的算法——ITR算法2°〕，该算法相比二分法而言
收敛稳定•然而，在一些情形收敛速度较慢29
,每
步迭代需要计算大型矩阵的主特征子空间-1
逐次解(Successive
solution)构造如下Trace
-
Ratio问题的一个近似解：解max『Aq
q\'Bq，s-1,，丘瓗II
q
y
71它的解显然是｛A,B]对应的最大特征值入1的
单位特征向量[19-19]，记为qi，然后考虑把qi扩张
为正交阵21,21]:构造Householder变换H使得旳1
=
e1
(单位
列)由于ht
=
因而H
=
21,0]，事实上，不需要写出21的具体形式,只需要注意到Htah
=严q
1
qAQ
1)2TAq1
A
⑴丿令q7
=
Q^,A(()
=
21A21,
B⑴=Q1BQ1解e
瓗\"\"，||0
||
7
=
1其解Q⑴为对应｛A⑴,B⑴｝的最大特征值的特征向量，逐次解-命题1P()W
P(Z(0))
W
Pmax
w
P()=儿
(7)证明：I
qTAq
)P(Z(0))=
--------
=
(
I
q；Bq)1
P⑴q：Bq1
+IqTBq
口-j
=
=…+P(q：Bq”)由此，式⑴可得P()W
P(Z(0))
W
PmnP⑴
w
入
1不
现:P(Z(0))
_P(”
=
(
I
q
Bq)
I
(P)-j
=
1
.i
=
1P())q/BqJ
M
(P⑴
P())q：Bq，I
q：Bq)-
T1P
(3)
(
))因此，如果接近1,则式(7)说明Z(0)—定
是Trace
-
Ratio问题的好的近似解.如果P()偏离
P⑴，则式⑶说明Z
仍然有可能是好的近似解.7牛顿法最优化问题max
tr(—tr(-~XTAXXT------)BX)s.l.X
e
瓗\"X(,XTX
=厶是分式最优化问题，令/(A)
=
Xe
maxX^X
X7BX)
(5)瓗
n\"(
= l){tr(XAX)
-tr(下面给出了/(A)的一些重要性质-引理11]方程/(A)
=0有唯一根A*,且为单引理725]1)
AxTx=/,max
—r((r(-~~
X
AX)XT------BX)7)
A
<
A*
\"A)
>
0
-622
-哈尔滨商业大学学报(自然科学版)第35卷3)入
>
A
t
,^f(A)
<
0求解方程(4)可设当前近似点为色，则连续可导，因此，由经典的Newton法收敛理论可知
结论2)成立.下面主要证明结论1).由1
)计算A
-
aP对应r个最大特征值的不变子
空间的标准正交基矩阵匕/(a)
=
(avQ
f(a)~
tr(v]BVk)0
=
r(VTAV)
-
a+1fr(VTBV
)=r(V(A
-a*B)V
)
WT(6)maxir(
V
(A
-
ak+1B) V)=r(V+1(A
-%1B)V+1)=上述就是Wang等提出的不动点迭代.实质上
是
Newton
法.r(
VT+1B
V
+ 1
)
(
+2
-
ak + 1
)下面给出Newton法的算法.Algorithm
2.
11)取X0)
e
瓗
nxa,X(0)TX(0)p
=
fr(X(0)TAX(0))因此a+25
m
a+1，所以1
单调上升•又由于
a
W
A*因此a*三lima存在，且/(a*
)三0,如果
厶，计算/(a)
>
0,那么由(
a*
)
W
(
a
+
)
=0
_
r((X(0)tBX( 0))2)
，
计算r(V+1
(A
-a+1
B)V+1
)=r(
V+1
BV+1
)(a»
+2
-
a»+1
)
WX\"*1
=
arg
maxr(XT(A
-p
B)X)XTX
=
/r(X
Mj)(a+2
一
a\"+1
)J
=
1p
=
tr(X(+9TAX(+9)
-
r(X(+1)tBX(+1))其中：11耳…耳jn
>
0为B的特征置由此可知3)若p*i
-
p
W
g则输出近似解X\"*a\"
+2
-
a
+
1
耳(
X
旳)-/@*)
0)=X(*)是A
-akB的对应(个最大特征值的特
征子空间的标准正交基矩阵.定理设由式(6)产生，则1)
ia(单调上升且收敛于A*这与｛a丨的收敛a矛盾.因此f(a*
)
=
0.所
以可得a二A
*
•5数值实验本节展示了两个实验，使用了
Guo、Yang等人
在2003年时关于人脸识别的一组数据.2
)
ia(的收敛阶为2证明：由于A*为代A)
=0的单根,/(A
)二阶
1.578
26.979
04.965
53.992
23.419
22.392
33.411
416.769
413.391
312942623.459
119.594
95.422
9499965013511.361
40935223.723
23.216
36.449
62.403
310.931
415.396
419.136
912.602
32693943226922358.960
13.536
65.935
659540316.954
35.046
63.179
26960252.271
1592.514
314.746
43344212923110实验1采用之前介绍过的方法分别用逐次解法和牛
-3.742
2mo
1-0.165
2-HH
4-3.472
1m
3顿法求解迹比问题的解•表1逐次解法和牛顿法求出的解算法牛顿法 0.
916
9—。.邓
5-3.133
2-3.383
2-0.142
93.976 6Mcx解-3.376
63.329 2-3.472 0逐次解3.359
5HD
5可以看到牛顿法求出的解比逐次解大,因而解
3.399
0OHl
5OWS 9。.如9-3.414
0-0.1693-3.3225更加精确.验2将逐次解作为初始迭代点，用牛顿法迭代求解
迹比问题.3-3.243 2
第5期赵守明:Trace
-
Ratic问题的两种解法及其应用表2牛顿法与改变初始点牛顿法的比较迭代次数牛顿法
-622
-[6]
HASTIE
T,BUJA
A，TIESHIRANE
R.
Peaalizea
disceminant
n-nalysis[
[].
Annaif
cf
Stanstico,
1995，25
：73 -
164.[2
]
YE
J.
Characteezation
cf
n
famlily
alooethm
foreeaeralizea
dis-
195ceminant
analysis
on
unVee
-
sampleaproblems
[
J
].
J，Mach.
Learn.
Rcs
,2065
,6
：435
-
SD.改变初始点后的牛顿法
由实验结果可知，将逐次解作为初始迭代点，
再用牛顿法迭代求解迹比问题会使牛顿法的迭代
[3]
LIU K，CHENG
Y Q，YANG
J
Y.
An efficient
alooethm
foe
theFoley
-
Sammon
optimai
set
cf
discriminant
vectore
by
algearaic
methob
[J].
Int
U
Pattern
Recpgit
Artif
Utey,
1992,6
(5)
:112
次数大大减少.-319.[9]
4结语GUOY,L【S
J，YANGT
S,
er
c
A
Geaeralizea
Folea -
Sammon
Uansform
baseC
on
oeaeralizea
fishee
disceminant
ceterion
一般来说，用牛顿法求得迹比问题比逐次解更
加精确，但牛顿法求解时可能迭代较慢•本文将逐
次解作为初始迭代点带入到牛顿法中会让牛顿法
的迭代速度变快.参考文献：[1
]
FOLEY
D
H，SAMMON
J
W.
An
opUmal
sei
ct
discriminaal
vec-
lore
[
J
].
IEEE
Tragsactionf
on
Computere
,1975,2 (
5
)
：
231
-239.[2]
KIETLER
J.
On
the
discriminant
vectce
methob
ct
feature
selection
[J
].
IEEE
Tragsactionf
on
Compitere
,1972,22 (
6
)
：
634
-606.[5]
SAMMON
J W.
An
0011181
discriminant
plana[
J].
1EEE
Tragf-
acWgf
on
Computere,
H?。，C
-
19(9)
：322
-
329.[4]
赖福辉•基于Trace
Ratic问题的子空间降维算法[D]
•北京：
清华大学,6)2.[5]
FRIEDMAN
J
H.
Reeulaezeadiscriminationanalysis[
J].
J. t.
Asscc
,1939，4
:195
-
its
anplication
tc
ice
recopnition
[
J ]
•
Patteet
Recopnition
Letter,2005,M：
142
-153.[10] WANG H，YAN
S
,XU
D，r
C.
Trace
ratic
e
ratic
trace
fee
di-
measionalitc reacctWe]
C]//
Pnceeainas
cf
conferene
on
com-
putce
Vision
anV
Pattem
Recopnition
(CVPR)
,2007,1
-3.[1]张建文，刘新国•线性判别分析的迭代解法及其应用[J]中
国海洋大学学报,2015，5
(11)
：
119
-
1241[12]
GOULUB
G
H，VANL
CF.
Matin
Computations[M]
4
BaltVmore:Thc
Jobn
Hopkins
University
Press,
1996.[6]孙继广•矩阵扰动分析[M].4版，匕京:科学出版社m[16]
ZHANG
A
L，HAYASH
S，CELIS
D.
Topic
baseC
appench
toquanratio
fractionai
propramminy
pmnlems
with
twc
quanratio
constraints[
J]
4
Numee.
Aly.
,
Conioi
and
Optimization,
201)
(1)
:
35
-93.[15]
GUO
Y
F，YANG
J
Y.
An
iterative
alooethm
fee
thc
oeaerai-izeC
optimai
set
cf
Ciscemmant
vectorsanf
its
anplication
to fee
recopnition
[
J
]
4
Chinese
J.
Comput.，2000,
25
(
11
)
：
1169
-1175.
更多推荐
问题,迭代,迹比,矩阵,算法,应用
发布评论