03-模型评估

模型accuracy只是评估模型的一种途径,在不同的应用场景下,需要考虑特殊的评估因素

贝叶斯原理,事件条件与关联

几个故事

看情况再说

妹子对我有没有好感

小明怀疑自己得了一种严重的疾病, 这种疾病在人群的发病率为1/10000 , 小明来到医院去做检查,

这种检查的准确率为99% , 小明得到了一个阳性的检查报告。

  • TRUE POSITIVE 预测正确,阳性, 有病阳性
  • TRUE NEGATIVE 预测正确,阴性, 没病阴性
  • FALSE POSITIVE 预测错误,阳性, 没病阳性
  • FALSE NEGATIVE 预测错误,阴性, 有病阴性

所以检查报告的情况只有这四种:

  • 检查阳性, 且 有病

  • 检查阳性, 且 没病

  • 检查阴性, 且 有病

  • 检查阳性, 且 没病

现在小明拿到了检测报告, 阳性的事情已经发生了。

有病 + 阳性的概率 p_1=1/10000*99/100= 99/1000000

没病+ 阳性的概率 p_2=9999/10000*1/100=9999/1000000

其实小明真的得病的概率 p = p_1/(p_1+p_2) = 99/(99+9999)=0.0098

## 其他模型评估公式

召回率Recall = \dfrac {True Positives}{TruePositives+False Negatives}
精确度Precsion = \dfrac {True Positives}{TruePositives+False Positives}
F-score=\dfrac{2*Recall*Precsion}{Precision+Recall}

思考题: 垃圾邮件和疾病 分别适合哪种评估公式?