问题:给出矩阵A A A并求解
x0=argminx(ax ) boldsymbol(x_0)=) arg min _ (boldsymbol ) x )|a ) bold symbol ) x )|x0=xargmin
解:
(ax(2=(udvx )2=(dvx )2=(y(=1)
y = V ⊤ x ∥ D y ∥ 2 = ( σ 1 y 1 + ⋯ + σ r y r ) 2 ≥ σ r 2 begin{aligned} |Ax|^2 & = |UDV^top x|^2 \ & = |DV^top x|^2 \ & xlongequal[|y|=1]{y=V^top x}|Dy|^2 \ & = (sigma_1y_1+cdots+sigma_ry_r)^2 \ & ge sigma_r^2 end{aligned} ∥Ax∥2=∥UDV⊤x∥2=∥DV⊤x∥2y=V⊤x ∥y∥=1∥Dy∥2=(σ1y1+⋯+σryr)2≥σr2其中 σ 1 ≥ ⋯ ≥ σ r sigma_1 ge cdots ge sigma_r σ1≥⋯≥σr 为奇异值
当 y = ( 0 , 0 , ⋯ , 1 ) y=(0,0,cdots,1) y=(0,0,⋯,1) 时,等号成立
显然此时 x = v r x = v_r x=vr,为对应最小奇异值的右奇异向量
启示:
奇异值分解也可以视作,不断寻求最小平面分量的的过程,得到的分量分别是 v r , v r − 1 , ⋯ , v 1 v_r, v_{r-1}, cdots, v_1 vr,vr−1,⋯,v1