首页 > 编程知识 正文

特征向量 几何意义,特征值与特征向量意义

时间:2023-05-06 18:35:21 阅读:186829 作者:2282

刚开始学习特征量和特征向量时,只知道定义和表达式,不理解其内在含义和应用。 整理一下这段时间相关的内容,和大家分享;

让我们先复习一下特征量和特征向量的定义:

定义:设a为n次矩阵,数和n维非零向量x表示关系式

……((1) ) ) ) )。

中选择所需的族。 于是,将这样的数称为矩阵a的特征值,将非零向量x称为与a的特征值对应的特征值。 (1)公式也可以写成以下形式。

……()2) )。

如果想求出矩阵的特征值和特征值,就需要求出式(2)的解。

那么,发生了问题。 这个公式要怎么理解?

首先,矩阵的概念:的矩阵表示线性变换规则,矩阵的乘法运算表示变换;

例如,矩阵a :

一列的向量是x :

矩阵的乘法运算如下。

向量x可以根据矩阵a的变化规则变换为向量y

几何转换应该是这样的。

知道这个的话,就能从几何学上理解特征值和特征向量是什么意思,但是由

懂:

因此,确定了模态后,向量x的变换为:

引用《线性代数的几何意义》的描述,“矩阵乘法对应于一个变换,并且任意向量可以是在另一个方向或长度上经常不同的新向量。 在这个变换过程中,原始矢量主要发生旋转、伸缩的变化。 如果矩阵对某个向量或某个向量只发生伸缩变换,而不对这些向量产生旋转的效果,则这些向量称为此矩阵的特征向量,伸缩的比例为特征值。 ”

那么,这样定义的特征值和特征向量有什么实用用途呢? 下面列举了数据挖掘算法中的一个重要算法——主成分分析(PCA ),让我们来直观感受一下。

首先,请理解信息量这个概念

看几张图:

如果单独看某个维度,例如看x1这个维度

将点投影到x1维度上,可以看出图1数据的离散性最高,图3低,图2数据的离散性最低。 数据的离散性越大,在投影维度上数据的区分度就越高,该区分度就是信息量。 用方差表示数据的离散性,数据的方差越大,表示数据的区分度越高,即包含的信息量越大。

基于该知识,如果想对数据进行降维,例如将图1的二维数据降维,则由于该维中包含的信息量较大,因此可以选择保留名为X1的维的数据。

同样,图2可以保持x2维数据。 但是,发生了问题。 图3应该保存哪个维度的数据呢? 答案是保留任何维度都不好,会失去很大的信息量。 但是,如果你转动图3的坐标轴

为了清楚起见,图3可以在新坐标轴下降维。 所以选择正确的坐标轴,根据各个维度数据方差的大小,决定保留哪个维度的数据是主成分分析的中心思想。

要选取正确的坐标轴,需要进行以下矩阵变换:

也就是说:

实际上,通过数学推导得到的结果表明,与特征值对应的本征矢量理想上是想获得正确的坐标轴,而本征值对应的是旋转后坐标上数据的维数上的方差。

也就是说,直接求出矩阵a的特征向量,求出对应的特征向量。 可以找到旋转后的正确坐标轴。 这就是本征值和本征向量的实用化之一。 “给出使数据在各维度上的区分度最大的坐标轴。 ”

因此,在数据挖掘中,将对应的特征向量的方向中包含的信息量直接记述为特征值,但是将某个特征值除以所有特征值之和得到的值为该特征向量的方差贡献率(方差贡献率表示该维度中包含的信息量的比例)

通常,经过特征矢量变换的数据被称为变量的主成分,当前的m个主成分累计的方差贡献率达到一个较高的百分比(例如85%以上)后,就剩下了这m个主成分的数据。 实现了数据的维度削减。 主成分分析整体算法的原理就是这个。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。