这篇文章大部分转载自：分类器评估方法：准确率和混淆矩阵
注：本文大部分是人工智能研究网的学习笔记
各评估方法的计算步骤：
先根据分类结果，统计出混淆矩阵。 根据混淆矩阵，计算出查准率（P）与查全率（R），画出P-R曲线。根据混淆矩阵，计算出真正率（TPR）与假正率（FPR），画出ROC曲线。 1 混淆矩阵快速理解：包含主对角线（真正、真反），剩余（假正，假反）。
在机器学习中尤其是统计分类中，混淆矩阵（confusion matrix），也被称为错误矩阵（error matrix）。
矩阵的每一列表达了分类器对于样本的类别预测，二矩阵的每一行则表达了版本所属的真实类别
之所以叫做’混淆矩阵‘，是因为能够很容易的看到机器学习有没有将样本的类别给混淆了。
Table of confusion
在预测分析中（predictive analytics）中table of confusion有时也叫（confusion matrix）是一个两行两列的表，这个表报告了四个预测相关的事件发生的数量： false positive， False negative, true positve和false negative。这个表可以让我们更加详细的分析预测系统的性能，热不是仅仅用一个准确率。
Accuracy是一个不可靠的分类器性能度量标准，因为当数据集中不同类的别的样本数量分布不平衡的时候，它将会产生误导人的结果。
比如说，如果数据集中有95个猫和5个狗，分类器会简单的将其分为猫，这样的准确率是95%。
混淆矩阵的记忆方法：
正对角线上的是分类正确的，所以是真正，真反。
其他的是分类错误的，所以是假正，假反。
最终的table of confusion是把所有的table of confusion平均组合起来的结果。
快速理解：记忆关键在分母，可以先记分母（以为的正例，真正的正例）
查准率（又叫准确率）：我们以为的正例中，真正的正例占多少。
P = 真 正 真 正 + 假 正 P = frac{真正}{真正+假正} P=真正+假正真正
查全率（又叫召回率）：所有的正例中，我们找出的正例占多少。
R = 真 正 真 正 + 假 反 R = frac{真正}{真正+假反} R=真正+假反真正
accuracy_score：函数计算分类准确率，返回被正确分类的样本比例（default）或者是数量（normalize=False）
在多标签分类问题中，该函数返回子集的准确率，对于一个给定的多标签样本，如果预测得到的标签集合与该样本真正的标签集合严格吻合，则subset accuracy =1.0否则是0.0。
得到查准率P，查全率R后，画出P-R图（P为纵轴，R为横轴）：
图有了，怎么看呢？包住，平衡点，
缺点：两个曲线有交叉时，就难以比较了。
2.根据1 的缺点，改用平衡点（Break-Even Point ，简称BEP） ，即查准率等于查全率的点。
平衡点高的模型，认为其性能好。
缺点：BEP过于简化
3.根据2的缺点，改用F1度量：F1度量是基于P、R的调和平均
1 F 1 = 1 2 ( 1 P + 1 R ) frac{1}{F_1}=frac{1}{2}(frac{1}{P}+frac{1}{R}) F11=21(P1+R1)
化简后： F 1 = 2 ∗ P ∗ R P + R F_1=frac{2*P*R}{P+R} F1=P+R2∗P∗R
一些应用中对查准率和查全率的重视程度不同，因此使用F1度量的一般形式Fβ度量。
Fβ是加权调和平均：
1 F β = 1 1 + β 2 ( 1 P + β 2 R ) frac{1}{F_β}=frac{1}{1+β^2}(frac{1}{P}+frac{β^2}{R}) Fβ1=1+β21(P1+Rβ2)
其中β>0，度量了P、R的相对重要性。β=1时，退化为F1度量。β>1时，查全率更重要，β<1时查准率更重要。
简化后为：
F β = ( 1 + β 2 ) ∗ P ∗ R β 2 ∗ P + R F_β = frac{(1+β^2)*P*R}{β^2*P+R} Fβ=β2∗P+R(1+β2)∗P∗R