原【数学基础】矩阵的特征向量、特征值及其含义2018年08月31日11:37:08 zhaosarsa阅读数4693进一步分类专栏：数学版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议。 转载原文出处链接和本声明。 正文链接： https://blog.csdn.net/QQ _ 32742009/article/details/8217051在线讲座，老师教你如何求矩阵的特征值和特征向量。 但是，特征值和特征值究竟具有什么样的几何意义和物理意义并没有被阐述，即使说了也有可能是模棱两可的。 矩阵的特征值和特征向量出现在各种机器学习算法和应用场景中，每次出现都有其独特的意义。 这里也简单说明一下。
一.方阵特征值和特征向量1、特征值与特征向量的定义：
定义1:为阶梯方阵，若数维和维非零列向量成立，则称为方阵的一个特征值，是与方阵的特征值对应的一个特征向量。
注：
方阵。 (如果不是方阵，则没有模态，但有条件数。 )特征向量是非零列向量。2、特征值与特征向量的几何意义（引自https://www.matongxue.com/madocs/228.html）：
首先，如果记住t(transformation )作为线性变换，则矩阵表示线性变换，可进行可提高、降低、缩放或旋转的线性变换，但在矩阵的情况下，可提高维度换言之，方形矩阵对向量的线性变换为伸长收缩或者旋转。
基向量的空间中有向量：
随机向左乘以矩阵，即进行线性变换。
调整下面的方向，让其稍微特殊一点。
观察到与调整后的物体在同一条直线上，只是的长度相对变长。
此时，我们称之为特征向量，其长度为其长度的两倍，为特征值。
也就是说
从特征向量和特征值的定义中可以看出，特征向量所在直线上的向量都是特征向量。
3、特征值与特征向量的一些性质
1 )如果是不可逆方阵，齐次线性方程有无穷多解，因此有非零解。 也就是说，有损方阵一定有零特征值。
2 )在一些实际问题中，经常涉及一系列运算，特征值与特征向量之间的关系可以简化这些运算。
3 )、矩阵的迹trace是矩阵对角元素之和。 例记，则。
的特征值是； 的特征值是； 的特征值从侧面也表明了非满秩矩阵的不可逆性。 时，则为相应的模态。 在复域中，存在与任意方阵对应的特征值和特征向量。 在实数域并非总是如此。 4 )、特征向量的性质
关于矩阵特征值的单个特征向量的任意非零线性组合或的特征向量。 如果设为与矩阵的不同特征值对应的特征值，则线性没有关系。 次数方阵中最多有不依赖于线性的特征向量。 与矩阵的固有值相同，但固有向量不一定相同。 设阶方阵的一个重特征值，与的线性无关的特征向量的最大个数为。 二、特征值和特征向量的计算求方阵的特征多项式。 求解特征方程，求出的所有特征值。 中与重根对应的个的值是相同的固有值。 求或的非零解，关于得到的所有特征向量。例1:求出矩阵的特征值和全部特征向量。
第一步：写出矩阵的特征方程，求出特征值。
特征值为
三次方阵的行列式计算：
步骤2 :按特征值代入齐次线性方程，求出非零解。
对于当，齐次线性方程为
系数矩阵
自由未知量：
令得基础解系：
所以是对应的所有特征向量。
对于当，齐次线性方程为
系数矩阵
得到基础解系
所以是对应的所有特征向量。
三、特征值与特征向量语义上的一二大亮点旨在回忆特征值与特征向量的定义与计算，至于为何如此定义，则鲜有赘述。 接下来进入点，讨论模态和固有向量起了什么作用，以及为什么将这样的向量定义为矩阵的固有向量。
幂乘一般在求矩阵特征值和特征向量的基础上求矩阵特征值和特征向量，但在非常大的情况下，直接求特征值和相应的特征向量的开销很大，所以可以用幂乘求解该值。
假设与阶数矩阵对应的各个模态按以下方式从模的大小开始排序：
与特征向量的线性无关，此时特征向量可以是空间的基集合
。任取初始向量，建立迭代公式：.
……………………
因为，故当，。因此可看成是关于特征值的近似特征向量，不过有个缺点就是当（或），中不为0的分量将随k的增大而无限增大，计算机就有可能出现上溢（或下溢）。所以在实际计算时，需按规范法计算，每步先对向量进行规范化：
通过上面的分析，可将乘幂法求矩阵的特征值及特征向量的方法可归纳如下：
计算特征值，任选一个向量，递归；
当充分大时或误差 Frobenius Norm 足够小时，停止；
就是当前的主特征向量，对应的特征值为：
<p>λi=maxxk（xk中的最大分量）;</p><p> </p></li><li><p>在A中去掉主特征λi对应向量的因素 </p><p>A=A−λizkzTk,</p>接下来再找下一个特征对，然后类似计算。<p> </p></li>针对特征值相等的情况，假定|λ1|=|λ2|=…=|λm|>|λm+1|>…>|λn|，由于向量α1v1+α2v2+α3v3+…+αmvm仍是属于λ1的特征向量，故利用上述方法依旧可求解λ1，λm+1,…,λi特征值及其对应的特征向量。
运动1、从调色谈起
我有一管不知道颜色的颜料，而且这管颜料有点特殊，我不能直接挤出来看颜色，只能通过调色来观察：
为了分辨出它是什么颜色（记得它只能通过调色来辨别）：
因为反复混合之后，这管颜料的特征就凸显了出来，所以我们判断，这管颜料应该是蓝色。
说这个干什么？矩阵也有类似的情况。
2、矩阵的混合
一般来说，矩阵我们可以看作某种运动，而二维向量可以看作平面上的一个点（或者说一个箭头）。对于点我们是可以观察的，但是运动我们是不能直接观察的。
就好像，跑步这个动作，我们不附加到具体的某个事物上是观察不到的，我们只能观察到：人跑步、猪跑步、老虎跑步、......，然后从中总结出跑步的特点。
就好像之前举的不能直接观察的颜料一样，要观察矩阵所代表的运动，需要把它附加到向量上才观察的出来：
似乎还看不出什么。但是如果我反复运用矩阵乘法的话：
至于为什么会产生这样的现象，可以通过乘幂法来证明。
就像之前颜料混合一样，反复运用矩阵乘法，矩阵所代表的运动的最明显的特征，即速度最大的方向，就由最大特征值对应的特征向量展现了出来。利用乘幂法的思想，每次将最大的特征值对应的向量因素从矩阵中除去，就可以依次得到各个特征值所对应的特征向量。
OK！知道了上述运动这个关系之后，我们可以思考这样一件事情。
1、解释1
我们可以将矩阵看成是一个力的混合体，但需要注意的是，这个力的混合体中各个力是相互独立的！即特征向量之间线性无关，是无法做力的合成（这里只是假设其无法合成，有更好的解释以后会补充）的。其中力的个数为矩阵的秩，力的大小为特征值的大小，力的方向即为特征向量的方向。
此时如果我们对任一向量（这里可以把看成是一个物体，如一个小方块）无限施加这个力的集合，正如上图所示的那样，最终小方块运动的方向即为力最大的那个方向。即向量会收敛为最大特征值的特征向量。去掉这个力，不断重复，即可以得到第二个、第三个特征向量。
这就是为什么我们将这样的向量定义为矩阵的特征向量，因为一方面它能够体现出线性变换中力的方向及大小，另一方面可以可以通过分析特征值得到该线性变换的主导因素。
再啰嗦几句，概括来说就是，特征值与特征向量可以告诉我们这个矩阵它产生的线性变换做了什么以及主要做了什么。
2、解释2
另一个更直观的解释就是颜料混合。我们将矩阵看成一个篮子，重点不在篮子。在篮子里面有一堆颜料，包含了种颜色，为矩阵的秩，但每种颜色的分量都不一样。先上结论——特征值代表了分量，特征向量表示了颜色。对任一向量（这里可以把看成是一滩液体，无所谓本来是什么颜色），每次施加矩阵变换就是把篮子里的所有颜料都泼进去，泼无数次，最后清水的颜色就变成了颜色最多的颜色（这里不要计较什么颜料无限混合最后都是黑色灰色的，直观一点理解）。
假设我们现在有办法可以去掉篮子中指定颜色的所有颜料。则可以依次根据特征值排序得到特征向量。
通过这么一个比喻，我们也可以得出同样的结论。
矩阵包含了一堆信息——颜料的种类与颜料的数量。如果我们可以通过矩阵分解将其分离出来，保留那些分量大的颜色，而去除那些可有可无的颜色就可以实现信息压缩等变换。
OK！到此大致讲解了三块内容：1、特征值与特征向量的定义及性质。2、特征值与特征向量的计算。3、特征值与特征向量的直观解释与含义。
线性代数中还有很多的概念，想要彻底搞清楚特征值与特征向量在实际应用中发挥的作用，需要连贯各种知识点。接下来会写一系列的文章来加深那些即将被遗忘的知识……
参考文章：如何理解矩阵特征值和特征向量？