一. CART:分类和回归树
CART，classificationandregressiontrees。
分类树下面有两个重要思想。 第一个想法是递归划分自变量空间。 第二个想法是用验证数据进行剪枝。
二. the k均值算法，即k均值算法
k均值算法是一种聚类算法，将n的对象根据他们的属性分为k个分割(k-n )。
与处理混合正态分布的最大期望算法(本10大算法第5条)非常相似。 因为他们试图找到数据中自然聚类的中心。
这假设对象的属性来自空间向量，目标是使各组内的均方误差总和最小。
三. Support vector machines
支持向量机，英文为Support Vector Machine，简称SV机(论文中一般为SVM )。
这是一种监控性学习方法，广泛应用于统计分类及回归分析。 支持向量机将向量映射到更高维的空间，并在该空间中创建最大间距的超平面。 在分离数据的超平面两侧建立两个相互平行的超平面，通过分离超平面使两个平行超平面的距离最大化。 假设平行超平面之间的距离或差越大，分类器的总误差越小。 一个很棒的指南是C.J.C Burges的《模式识别支持向量机指南》。 van der Walt和Barnard比较了支持向量机和其他分类器。
四. The Apriori algorithm
Apriori算法是挖掘布尔关联规则中频繁项集的最具影响力的算法。 其核心是基于两阶段频率集合思想的递归算法。 该关联规则在分类上属于单维、单层、布尔关联规则。 在此，所有支持度大于最小支持度的项集合称为频繁出现项集合，简称频率集合。
五.最大期望(EM )算法
在统计计算中，最大期望(EM，Expectation-Maximization )算法是在概率模型中查找参数的最大似然估计的算法最大的期望经常用于机器学习和计算机视觉数据集成(Data Clustering )领域。
六. PageRank
PageRank是谷歌算法的重要内容。 2001年9月被授予美国专利，专利者是谷歌创始人之一的优秀犀牛(Larry Page )。 因此，PageRank中的page指向wmdgq，而不是网页。 也就是说，这种排名方法是根据wmdgq命名的。 PageRank根据站点外部和内部链接的数量和质量来衡量站点的价值。 PageRank背后的概念是，指向页面的链接都是对该页面的投票，越被链接越会投票给其他网站。 这就是所谓的“链接流行度”——，衡量有多少人想把自己的网站和你的网站联系起来。 PageRank概念被认为是学术中某篇论文引用的频率为——，即被他人引用的次数越多，一般来说该论文的权威性越高。
七. AdaBoost
Adaboost是迭代算法，集中在对同一个训练集训练不同鉴别器(弱鉴别器)，并将这些弱鉴别器聚集在一起以构成更强的最终鉴别器(强鉴别器)。 其算法本身是通过改变数据的分布来实现的，根据每个训练集每个样本的分类是否正确以及上次总体的准确率来确定每个样本的权重。 将修改权重后的新数据集发送到下级分类器进行训练，最后融合每次训练得到的分类器，作为最后的决策分类器。
八. KNN : k-nearestneighborclassification
k最近邻(k-Nearest Neighbor，KNN )分类算法是理论上成熟的方法，也是最简单的机器学习算法之一。
该方法的构思是，如果给定样本属于特征空间中k个最近的(即，在特征空间中最近的)样本中的大多数样本的给定类别，则该样本也属于该类别。
九.朴素贝叶斯
在众多分类模型中，应用最广泛的两种分类模型是决策树模型和朴素贝叶斯模型。
NBC）。 朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时， NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小 的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立 的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不 上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。十、C4.5
C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其 实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次 选择一个好的特征以及分裂点作为当前节点的分类条件。
C4.5相比于ID3改进的地方有：
1、用信息增益率来选择属性。
ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量 准则),也就是熵的变化值.
而C4.5用的是信息增益率。对，区别就在于一个是信息增益，一个是信息增益率。一般来说率就是用来取平衡用的， 就像精明的老师的作用差不多，比如有两个跑步的人，一个起点是10m/s的人、其10s后为20m/s；另一个人起速是1m/s、其 1s后为2m/s。
如果紧紧算差值那么两个差距就很大了，如果使用速度增加率(加速度，即都是为1m/s^2)来衡量，2个人就是一样的加 速度。因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。
2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。
3、对非离散数据也能处理。
4、能够对不完整数据进行处理。