特征值分解
特征值分解是将一个方阵A分解为如下形式：
其中，Q是方阵A的特征向量组成的矩阵，
是一个对角矩阵，对角线元素是特征值。
通过特征值分解得到的前N个特征向量，表示矩阵A最主要的N个变化方向。利用这前N个变化方向，就可以近似这个矩阵(变换) 。
奇异值分解
奇异值分解(Singular Value Decomposition，SVD)是在机器学习领域广泛应用的算法，它不仅可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。 它能适用于任意的矩阵的分解。
SVD是将m*n的矩阵A分解为如下形式：
其中，U和V是正交矩阵，即
，U是左奇异矩阵，
，S是
的对角阵(对角线上的元素是奇异值，非对角线元素都是0)，
右奇异向量，
。
特征值用来描述方阵，可看做是从一个空间到自身的映射。奇异值可以描述长方阵或奇异矩阵，可看做是从一个空间到另一个空间的映射。
奇异值和特征值是有关系的，奇异值就是矩阵
的特征值的平方根。
步骤
输入：样本数据
输出：左奇异矩阵，奇异值矩阵，右奇异矩阵计算特征值：特征值分解
，其中
为原始样本数据
得到左奇异矩阵
和奇异值矩阵
间接求部分右奇异矩阵：求
利用
可得
返回
，分别为左奇异矩阵，奇异值矩阵，右奇异矩阵。
python实现
调用eig和svd方法
import numpy as np
data = np.array([[1, 0, 4], [2, 2, 0], [0, 0, 5]]) # 数组
# 调用np.linalg.eig()对data*data'进行特征值分解
eig_value, eig_vector = np.linalg.eig(data.dot(data.T))
# 将特征值降序排列
eig_value = np.sort(eig_value)[::-1]
print("特征值：", eig_value) # 特征值
print("特征值的平方根：", np.sqrt(eig_value)) # 特征值的平方根
# 调用np.linalg.svd()对data进行奇异值分解
U, S, V = np.linalg.svd(data)
# 降到两维，计算U*S*V 结果应该和data几乎相同
recon_data = np.round(U[:,:2].dot(np.diag(S[:2])).dot(V[:2,:]), 0).astype(int)
print("奇异值：", S) # 奇异值
print("data:n",data)
print("U*S*V的结果:n",recon_data)
从结果上验证了奇异值就是矩阵
的特征值的平方根。结果如下：特征值： [41.44423549 8.26378188 0.29198263]
特征值的平方根： [6.43771974 2.87467944 0.54035417]
奇异值： [6.43771974 2.87467944 0.54035417]
data: [[1 0 4] [2 2 0] [0 0 5]]
U*S*V的结果: [[1 0 4] [2 2 0] [0 0 5]]
按SVD原理实现
import numpy as np
# 1.调用np.linalg.eig()计算特征值和特征向量
eig_val, u_vec = np.linalg.eig(data.dot(data.T))
s_val = np.sqrt(eig_val) # 奇异值：是特征值的平方根
# 将向量u_vec对应排好序
s_val_sort_idx = np.argsort(s_val)[::-1]
u_vec = u_vec[:, s_val_sort_idx]
# 奇异值降序排列
s_val = np.sort(s_val)[::-1]
# 2.计算奇异值矩阵的逆
s_val_inv = np.linalg.inv(np.diag(s_val))
# 3.计算右奇异矩阵
v_vec = s_val_inv.dot((u_vec.T).dot(data))
# 降到两维，计算U*S*V 结果应该和data几乎相同
recon_data = np.round(u_vec[:,:2].dot(np.diag(s_val[:2])).dot(v_vec[:2,:]),0).astype(int)
print("左奇异矩阵U:n", u_vec)
print("奇异值Sigma:n", s_val)
print("右奇异矩阵V:n", v_vec)
print("data:n",data)
print("U*S*V的结果:n",recon_data)
运行结果
左奇异矩阵U:
[[ 0.63464303 -0.12919086 0.76193041]
[ 0.03795231 -0.97952798 -0.19769816]
[ 0.77187295 0.15438478 -0.61674751]]
奇异值Sigma:
[6.43771974 2.87467944 0.54035417]
右奇异矩阵V:
[[ 0.11037257 0.01179061 0.99382034]
[-0.72642772 -0.68148675 0.08876135]
[ 0.67832195 -0.73173546 -0.06665242]]
data:
[[1 0 4]
[2 2 0]
[0 0 5]]
U*S*V的结果:
[[1 0 4]
[2 2 0]
[0 0 5]]
基于SVD的图像压缩
基于SVD图片压缩: 图片其实就是数字矩阵，通过SVD将该矩阵降维，只使用其中的重要特征来表示该图片从而达到了压缩的目的。
path = 'Andrew Ng.jpg'
data = io.imread(path,as_grey=True)
print(data.shape)
data = np.mat(data) # 需要mat处理后才能在降维中使用矩阵的相乘
U, sigma, VT = np.linalg.svd(data)
count = 30 # 选择前30个奇异值
# 重构矩阵
dig = np.diag(sigma[:count]) # 获得对角矩阵
# dim = data.T * U[:,:count] * dig.I # 降维 格外变量这里没有用 dig.I：是求dig的逆矩阵
redata = U[:, :count] * dig * VT[:count, :] # 重构后的数据
plt.imshow(data, cmap='gray') # 取灰
plt.title("原始图片")
plt.show()
plt.imshow(redata, cmap='gray') # 取灰
plt.title("基于SVD压缩重构后的图片")
plt.show()
原图片为720x1080，保存像素点值为720x1080 = 777600，使用SVD算法，取前30个奇异值则变为(720+1+1080)*30=54030，达到了几乎15倍的压缩比，极大的减少了存储量。
结果如下
附录
方阵
方阵：是一种特殊的矩阵。方阵是n*n的矩阵
特征值和特征向量
设A是n阶方阵，若存在n维非零向量
，使得
则称常数
为A的特征值，
为A的对应于
的特征向量。
np.diag()
np.diag(array)参数说明：
array是一个1维数组时，结果形成一个以一维数组为对角线元素的矩阵；
array是一个二维矩阵时，结果输出矩阵的对角线元素
import numpy as np
# 输入是1维数组时，结果形成一个以一维数组为对角线元素的矩阵
data_1 = np.array([1,2,3])
print("输入是1维数组时的结果：n",np.diag(data_1))
# 输入是二维矩阵时，结果输出矩阵的对角线元素
data_2 = np.array([[1,0,4],[2,2,0],[0,0,5]])
print("输入是2维数组时的结果：n",np.diag(data_2))
运行结果输入是1维数组时的结果： [[1 0 0] [0 2 0] [0 0 3]]
输入是2维数组时的结果： [1 2 5]
相关链接