成为AI产品经理——TPR、FPR、ROC、AUC

点击全文阅读

目录

一、PR图、BEP

1.PR图

2.BEP 

二、灵敏度、特异度

1.灵敏度

2.特异度

三、真正率、假正率 

1.真正率

2.假正率 

三、ROC、AUC

1.ROC

2.AUC

四、KS值

一、PR图、BEP

1.PR图

二分类问题模型通常输出的是一个概率值，我们需要设定一个阈值，让大于这个阈值的时候为正样本，其余的为负样本。

如果我们选择不同的阈值，我们就可以得到不同的预测结果，也就可以得到不同的混淆矩阵，从而得到不同的precision值和recall值。P-R图是我们在连续变化的阈值下，得到的准确率和召回率的关系。（召回率作为横轴，将精确率作为纵轴）。

PR 图主要有以下用途：

权衡 Precision 和 Recall： PR 图帮助我们直观地理解在不同阈值下模型的 Precision 和 Recall 的权衡关系。这对于某些应用中 Precision 和 Recall 之间存在权衡关系的情况非常重要，例如在医学领域的疾病诊断中，我们可能更关注 Recall，以确保尽可能多地捕获患者的真实病情。

评估样本不平衡： 当数据集中的类别不平衡时，PR 图比 ROC 曲线更能准确地反映模型性能。在样本不平衡的情况下，ROC 曲线可能给出过于乐观的评估，而 PR 图更能反映模型在正类别上的性能。

选择适当的阈值： PR 图可以帮助选择适当的分类阈值，以满足特定任务的需求。根据应用场景，我们可能更关注 Precision 或 Recall，通过观察 PR 图可以更好地理解不同阈值下的模型表现。

比较模型性能： PR 图可用于比较不同模型的性能。具体来说，我们可以比较不同模型在保持较高 Precision 的同时实现较高 Recall 的能力，或者根据实际需求调整模型的阈值。

下图A模型的曲线完全包住C模型的曲线，我们就说A模型比C模型的效果好；

B模型的曲线完全包住C模型的曲线，我们就说B模型比C模型的效果好；

但是A模型和B模型的曲线有交叉，我们使用BEP进行比较。

2.BEP 

BEP是精确率和召回率的平衡点，P=R时，那一条线。如果，模型的PR曲线有交叉，我们可以根据BEP来判断模型的好坏。

BEP过于简单，我们常用F1值来比较模型。F1值是考虑了召回率和精确率的一个计算指标。