今天我们来看看正交向量和正交矩阵的概念。首先，让我们回顾一下向量相关性。
向量内积
这基本上是中学数学教材中的一个概念。两个向量的内积非常简单。让我们直接看公式并复习一下：
这里X和Y都是N维的向量，两个向量可以计算内积的前提是两个向量的维数相同。从上面的公式可以看出，两个向量的内积等于每个维度对应的两个向量的分量的乘积之和。
为了区别于矩阵乘法和普通乘法，我们通常把两个向量的内积写成：
这里有一个非常重要的财产。对于一个向量，我们可以用孤独精灵公式来计算它的长度。此外，我们可以用向量的长度和向量之间的夹角来表示向量的内积，如下所示：
其中是X和Y向量之间的夹角，对于三维空间及以下的向量来说非常直观。很难想象高维向量的物理意义。不过，没关系。我们也可以认为向量之间的广义超空间存在夹角。在机器学习领域，我们通常用这个夹角来反映向量之间的相似性。两个向量越相似，它们之间的角度应该越小，对应的cos余弦值应该越大。所以我们可以用两个向量之间的余弦来反映它们之间的相似性。这是计算余弦值的地方。
正交向量
从上面的公式可以看出，向量的内积等于两个向量的长度乘以向量之间的夹角。对于非零向量，其长度应大于0。因此，两个向量的内积完全取决于向量之间的角度。
如果小于90，那么
，则内积为正。如果大于90，余弦值为负。因此，我们可以通过正余弦值或负余弦值来判断夹角是锐角还是钝角。说到夹角，自然离不开一个特例——垂直。
如果两个向量在二维平面上的夹角是90，那么很明显这两个向量是垂直的。高维空间也是如此，只是我们通常不说垂直，而是改——正交这个词。两个非零向量的内积为0，表示两个向量正交。
正交向量组
正交向量清晰后，正交向量组也就清晰了。正交向量组是指成对正交且非零的向量组。
如果n维向量组：
两个正交，那么，它们一定是线性独立的。也就是说，没有一组不为零的系数，因此：
这点很容易证明，由于向量组内向量均不为0，我们只需要在等式两边随便乘上一个向量即可，假设我们乘的是a1。由于它与其他向量两两正交，所以其他项全为0。如果要等式成立，那么必须要：
由于a1不为0，那么必然不为0，要使得等式成立，只能是1为0。
"> 规范正交基
我们把正交向量组的概念和基的概念融合，如果向量组
是向量空间V的一个基。如果它们之间彼此正交，那么就称它们是一组规范正交基。
对于向量a，我们可以很方便地求出它在规范正交基下各个维度的坐标：
也就是说向量a，在规范正交基下某一个维度的坐标， 等于它和整个维度的正交基向量的内积。
如果说我们已经知道向量空间V中的一组基是
，我们怎么求V的规范正交基呢？
这里要用到一个算法，叫做施密特算法。通过这个算法，我们可以通过向量空间的一组基来求出它的正交基。
这个算法很简单，我们可以直接写出它的公式：
我们随便取两个b向量乘一下就知道，b向量组之中两两正交。所以，我们只要将b向量组单位化一下，就可以求出对应的规范正交基了。
即：
这个算法虽然不难，但蛮重要。在机器学习领域中一些降维算法，很多都与施密特正交化方法有关。
正交矩阵
之前我们在介绍矩阵的时候，曾经说过，我们可以把一个矩阵看成是一个特定的向量组的结构。同样，我们也可以把一个规范正交基向量组看成是一个矩阵，那么这个矩阵就称为是正交矩阵。
它拥有如下性质：
其中I是单位矩阵，它的充要条件是矩阵A当中的每一列都是一个单位列向量，并且两两正交。
最后，我们看一下正交矩阵的性质。它的主要性质有三个：
1. 如果A是正交矩阵，那么
，也是正交矩阵，并且
2. 如果A和B都是正交矩阵，并且它们阶数一样，那么AB也是正交矩阵。
3. 如果A是正交矩阵，向量y经过A变换之后行列式保持不变。
这三个性质都很简单，我们通过正交矩阵的性质基本上都可以直接推导得到，或者是非常直观，和我们的直觉吻合。其实怎么推导不是重点，对于算法工程师而言，更重要的是理解这些概念的意思，并且将它与算法模型当中起到的功能联系起来，这才是最重要的事情。
今天关于正交向量和矩阵的内容就到这里，希望大家学有收获，如果喜欢本文， 请点个关注或者转发支持作者吧~