PCA transform and dimension reduction PCA正交变换教学案例 A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS1. 引言2.理论及方法3. 具体实例4.总结参考文献
PCA正交变换教学案例 A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS
摘要：PCA（principle component analysis）应用广泛,是个有效的、并巧妙的降维技术。但是缺乏深刻理解。本文要解开这个黑匣子。PCA 转换消除信号的相关性，较少数据冗余度，转换结果比转换前减少至少一个成分。能量集中。PCA和多个抽象概念领域有密切关系，因此，需要简单案例来解释才能达到最佳教学效果。
1. 引言PCA（principle component analysis）是一个有效、并应用广泛的信号转换方法。因为简单、无需多余的附加信息就能从复杂数据中抽取最重要的信息。PCA为降低维度、解开隐藏信息提供了捷径。较少数据冗余度，转换结果比转换前减少至少一个成分。能量集中在前部分。转换结果是个不相关的正交基，即是个正交线性变换。
PCA变换，在不同的应用场合有不同的名字，如Hotelling 变换，KL变换POD变换，SVD变换等等【】。他是最简单的特征向量为基础的分析方法。他是通过方差分析数据的方法。由于能量集中在前部分，通过主要部分就可以代表整个多维数据，并达到很好的将维目的。但是，PCA和多个抽象概念领域有密切关系，因此，需要简单案例来解释才能达到最佳教学效果。
虽然有很多这方面的资料，但是要么是过于抽象、难以理解并实现，要么就是概念不清病模糊。所以本文以通俗易懂的方式讲解PCA变换。
2.理论及方法我们的目的是找到一种变换Z=XW使得ZZ^T=I , 最终使得变换后的数据是个对角矩阵，即协方差矩阵是个对角矩阵。这样变换后相关性就会消除。提取特征向量最好的办法是找出一个对称矩阵。Covariance 协方差是很好的对称矩阵，他是正定矩阵。所以有正交特征向量，及实数特征值。
设X是n个样本，每个样本的维数是p，则X是n行p列, np, 矩阵。设转换矩阵 W 是 pp方阵。PCA变换是 Z=XW。转换前及转换后的数据方差为：
本文我们用简单概念讲解及实例来详细介绍了PCA转换的方法和步骤。虽然相关资料很多，主要是概念形和实例形。但是，概念形过于抽象，实例形概念模糊。我门尽量用最简单的概念和典型的例子讲两者联系起来，为学生提供了教学案例。我们会发现PCA和DFT 有深层关系。两者都是正交变换，能量集中等。本文可能有不足之处，希望大家给予批评指正。
参考文献[1]Jon Shlens ，A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS Derivation, Discussion and Singular Value Decomposition， 2033.3
[2]https://plot.ly/ipython-notebooks/principal-component-analysis/
[3]https://en.wikipedia.org/wiki/Principal_component_analysis