最近在聚类时使用了主成分分析PCA技术。 包含矩阵的特征量和特征向量的相关内容。 我在网上找到了解释特征向量及其物理含义的文章。 整理并共享。
一、基质基础[1] :
矩阵是表示二维空间的数组，矩阵可以看作变换。 在线性代数中，矩阵可以将一个向量转换为另一个位置，或者从一个坐标系转换为另一个坐标系。 矩阵的“基”实际上是用于变换的坐标系。 另一方面，相似矩阵()是指相同的变换，只不过使用了不同的坐标系。 线性代数中的相似矩阵实际上是在不改变变换作用的情况下使这些相似矩阵具有漂亮的外观。
矩阵是二维的，但矩阵的大小称为矩阵的维度。 例如，33的矩阵可以说是三维矩阵。
二、直观说明[2]
先看看直观的内容吧。 矩阵的特征方程如下。
矩阵实际上可以看作变换，方程左边只是把向量x换到另一个位置； 右边是1个向量x的延伸量，延伸量为lambda。 那么，它的含义很明显，作为矩阵a的一个特性，表明该矩阵可以将向量x增长(或缩短)为lambda倍。 就这样了。
任意给定矩阵a并不是对所有向量x都延伸(收缩)。 可以由矩阵a延伸(缩短)的所有向量都被称为矩阵a的特征向量。 拉伸(收缩)量是与该特征向量对应的特征值Eigenvalue。
值得注意的是，我们称之为特征向量的是一种向量。 这是因为，任意一个特征向量自由乘以标量的结果也一定满足上述方程式。 当然，可以认为这两个向量都是相同的特征向量，并且它们也对应于相同的特征值。
如果特征值为负数，则矩阵不仅使特征向量伸长(缩短)，而且使该向量的方向反转(朝向相反方向)。 一个矩阵可以延伸(缩短)多个向量，因此可能具有多个特征值。 另外，在实对称矩阵中，与不同特征值对应的特征向量一定是正交的。
也可以说一个变换矩阵的所有特征向量构成了这个变换矩阵的一组基。 基可以理解为坐标系的轴。 我们平时使用的大多是直角坐标系，线性代数中扭曲、拉伸、旋转这个坐标系可以称为基底变换。 我们可以根据需要设定基座，但基座的轴之间必须是线性的。 也就是说，坐标系的不同轴必须不指向同一方向，也不与其他轴组合。 否则，原来的空间就会“支撑不住”。 在主成分分析(PCA )中，通过在最长的方向设置基底，忽略较小的量，可以较大地压缩数据，减小失真。
变换矩阵的所有特征向量都是空间的基础，这是因为变换矩阵可以在这些方向上延伸，从而无需扭曲和选择向量，计算非常简单。 因此特征值很重要，但我们的终极目标是特征向量。
三、一些重要的抽象概念
1、核
经过变换矩阵成为零向量的所有向量构成的集合通常用Ker(A )表示。
假设你是向量，有变换你的矩阵。 如果你不幸落入这个矩阵的内核中，很遗憾变换后你会变成虚无的零。 特别是，验证“变换”(Transform )的概念时，指出矩阵变换有“零空间”的相似概念。 对于某些材料，变换使用t，与矩阵相连时使用a，但本文将矩阵直接视为“变换”。 有核的空间定义为v空间，即全向量的原始空间。
2 .值域
一个空间中的所有向量都可以经由变换矩阵形成的向量集合通常由r(a )表示。
假设你是向量，有变换你的矩阵。 这个矩阵的值域表示了将来可能的所有位置。 值域的维也称为秩。 有值域的空间定义为w空间。
3、空间
矢量和在此基础上构建的加法、乘法运算构成了空间。 向量只能在空间中变换。 使用坐标系(基础)在空间中描述向量。
不管是核还是值域，它们都是封闭的。 如果你和你的朋友被困在核里，你们加和乘都在核里，出不去，这就构成了子空间。 值域也一样。
数学家证明了，v (有核的空间定义为v空间) )的维度一定与其中一个变换矩阵的核的维度加上值域的维度相等。
的严密证明可以参考相关资料。 这里我要说一下直观的证明方法：
v的维数也就是v的基数。 这些基底分为两部分，一部分在核中，一部分是值域中非零象的元像(核和值域都是独立的子空间，所以一定可以划分)。 如果v中的任意向量以基底的形式书写，那么该向量必然也有一部分在核中，另一部分在值域中非零象的原始像中。 现在变换这个向量，核的部分当然为零，其他部分的维正好等于值域的维。
四.变换矩阵的行空间与零空间的关系
根据矩阵的性质，变换矩阵的行数等于v的维，变换矩阵的秩等于值域r的维，因此可以得到：
请注意，在非满矩阵中，此数必须小于行数，因为a的秩还是a行空间的维。 因此，上述公式如下。
之所以形成这个形状，是因为我们知道a的零空间和a的行空间是正交互补的。 正交是因为零空间是核。 按照定义乘以a的行向量当然为零。 互补的是，它们加起来正好是傲娇的音响。
整个V空间。这个正交互补导致了非常好的性质，因为A的零空间和A的行空间的基组合起来刚好可以凑成V的基。
五、变换矩阵列空间和左零空间的关系
如果把以上方程取转置，则可以得到：
因为的实际意义是把值域和定义域颠倒过来了，所以的零空间就是值域以外的区域投向V中零点的所有向量的空间，有人将其称为“左零空间”(Left Null Space)。这样就可以得到：
同样，A的左零空间与A的列空间也正交互补，它们加起来刚好可以傲娇的音响W空间，它们的基也构成了W的基。
六、变换矩阵行空间和列空间的关系
变换矩阵实际上就是把目标向量从行空间转换到列空间。
矩阵的行空间、列空间、零空间、左零空间构成了我们在线性代数研究中的所有空间，把它们的关系弄清楚，对于分别的基转换非常重要。
七、特征方程的秘密
我们试图构造一个这样的变换矩阵A：它把向量变换到一个值域空间，这个值域空间的基是正交的；不仅如此，还要求任对于意一个基v都有 的形式， 是原来空间的一个已知基。这样我们就能把复杂的向量问题转换到一个异常简单的空间中去。
如果 的数量不等于v，那么用取代A，可以变为一个对称且半正定矩阵，它的特征向量正是要求的基v！
再次说明，矩阵不等于变换，把矩阵看成变换只是提供一个理解变换矩阵的方法。或者，我们可以认为，矩阵只是变换的一种变现形式。
参考文献：
[1] 矩阵基础，http://blog.csdn.net/wangxiaojun911/article/details/4582021
[2] 矩阵——特征向量，http://blog.csdn.net/wangxiaojun911/article/details/6737933