本文将从多个方面介绍PCA(Principal Components Analysis,主成分分析)参数,包括如何选择主成分个数、选择特征值大小的阈值和如何对原始数据进行归一化处理。
一、主成分个数确定
主成分个数指在进行PCA降维时,需要从数据的若干个方向中选择几个作为新的基准方向。一般来说,会选择方差较大的前几个方向作为主成分。但是如何确定具体选择几个主成分呢?
有两种方法可以进行选择:
1.根据经验或者业务需求确定主成分个数
在某些场景下,根据业务需求或者经验,可以确定主成分个数。比如,如果进行压缩图片,在不损失太多画质的情况下,可以选择前10个主成分进行压缩。
2.通过累计特征值贡献率选择主成分个数
特征值是PCA方法的一个重要参数,表示在不同方向上数据的离散程度。特征值越大,说明在该方向上数据的离散程度越大。累计特征值贡献率表示前k个主成分所包含的方差占总方差的比例。通常选择累计特征值贡献率大于0.9时的主成分个数。
二、特征值大小的阈值选择
虽然选择主成分个数比较容易,但是选择特征值大小的阈值却比较困难。因为不同数据集中的特征值大小相差甚远,如果直接按照大小进行选择,可能会损失一些重要信息。
因此,可以通过画出特征值大小和主成分个数的折线图,通过直观判断选择合适的特征值阈值。一般来说,随着主成分个数的增加,特征值会呈现下降趋势。可以选择特征值折线图中的“拐点”处的特征值作为阈值。
三、原始数据归一化处理
在进行PCA分析时,需要对原始数据进行归一化处理。这是因为不同特征之间的度量单位不同,如果不进行归一化处理,可能会导致结果不准确。
常用的归一化方法为Z-score标准化,即将数据减去均值,再除以标准差。假设原始数据为$m$行$n$列的矩阵$X=left[x_{i,j}right]$,那么进行归一化处理后得到的数据矩阵$X'$的表达式为:
$$ x'_{i,j} = frac{x_{i,j} - mu_j}{sigma_j} $$
其中,$mu_j$为第$j$列的均值,$sigma_j$为第$j$列的标准差。
四、代码实现
下面是Python中使用sklearn库进行PCA分析的示例代码:
from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler # 加载数据 X = ... # 数据归一化处理 sc = StandardScaler() X_std = sc.fit_transform(X) # 选择主成分个数 pca = PCA(n_components=0.9) X_pca = pca.fit_transform(X_std) # 打印特征值、特征向量和主成分贡献率 print('Explained variance ratio:', pca.explained_variance_ratio_) print('Eigenvalues:', pca.explained_variance_) print('Eigenvectors:', pca.components_)