ROC的基本概念:ROC曲线又称受试者工作特征曲线,表示一个特定的诊断方法对区别特定的患者组与非患者组样本的检测能力,也就是一个评价诊断方法的综合指标。 那我们就从诊断方法评价的原理出发,如下图,利用诊断方法去检测经金标准诊断后的样本,得到诊断结果,通过评价指标去评价诊断方法。 评价指标可分为以下三类: 真实性指标、可靠性指标、预测值 真实性:又称效度或者准确性,指测量值与实际值相符合的程度 可靠性:又称信度,指在相同的条件下用某测量工具重复测量同一受试者结果的稳定程度 预测值:用于诊断试验的结果来评估受检者患病和不患病可能性的大小 具体的评价指标又有哪些呢? 首先,根据金标准与诊断试验的结果,我们可以得到二分表 真实性评价包括 1.灵敏度(Sensitivity,Se),又称真阳性率,即实际有病,并且按照该诊断试验的标准被正确地判为有病的百分比。它反映了诊断试验发现病人的能力。 具体公式: 2.漏诊率(omission diagnostic,β),又称假阴性率,在患者中诊断试验诊断错了的比例。 具体公式: 3.特异度(Specificity,Sp),又称真阴性率,即实际没病,并且按照该诊断试验的标准被正确地判为无病的百分比。它反映了诊断试验确定非病人的能力。 具体公式: 4.误诊率(mistake diagnostic rate,α),又称假阳性率,在非患者中诊断试验诊断错了的比例。 具体公式: 灵敏度和特异度都是反映诊断试验准确性的最基本指标。如果灵敏度低,假阴性患者多,导至延误病情,甚至过早死亡。如果特异度低,假阳性患者多,医疗资源浪费,患者焦虑恐慌。提高一方面水平,会降低另一方面水平,因此需要选择敏感度和特异度都较高的试验作为诊断依据。 理想地,我们可以明确一个阈值线能够完全区别患者与非患者,但实际上患者与非患者诊断试验指标有一定的重叠,因此需要调整灵敏度和特异度来确定临界值,以产生漏检和误诊之和最小时的数据确定临界值。 接下来的评价指标就综合考虑了灵敏度和特异度 5.正确指数(Youden‘s index),也称约登指数,是识别真正病人与非病人的总能力 具体公式:Youden‘s index=灵敏度+特异度-1 约登指数在0-1之间,指数越大,真实性越高 6.似然比 是同时反映灵敏度和特异度的符合指标,即患者中得出某试验结果的概率比上非患者中得出该结果的概率,临床应用比较多,又分阳性似然比、阴性似然比 阳性似然比反映诊断试验正确判断某个体阳性的可能性是错误判断其阳性的可能性的倍数, 阳性似然比越大越好 阴性似然比反映诊断试验错误判断某个体阴性的可能性是正确判断其阴性的可能性的倍数, 阴性似然比越小越好 可靠性评价根据分类数据可分为 分类变量:符合率,kappa值 连续性变量:标准层、变异系数(CV)、组内相关系数(ICC) 预测值 阳性预测值、阴性预测值 上面我们说到阈值线的划分影响诊断试验结果,也就是说我们有一个判断阈值(Cutoff point),当检查结果为等级变量或连续变量时判定检查结果阳性或阴性需要一个具体的数值,超过该数值为阳性,低于该数值为阴性,这个数值称为判断阈值 那么怎么综合灵敏度和特异度来确定截断值呢 那就是ROC曲线 ROC曲线综合考虑灵敏度和精密度,用来描述诊断试验的内在真实程度 以真阳性率(灵敏度)为纵坐标,假阳性率(1-特异度)为横坐标绘制 每一个点都对应诊断试验的一个截点,将这些点连接起来即可制作出经验ROC曲线 拟合ROC曲线是指根据诊断试验不同截点计算出的假阳性率(1-特异度)和灵敏度的坐标点拟合出来的平滑曲线。 下面是ROC曲线的绘制,以MedCalc软件为例 输入数据,金标准结果与诊断试验结果 选择统计-ROC曲线-ROC曲线分析 在设置时,变量选择诊断试验,分类变量选择金标准,并定义状态 结果查看,如下图得到ROC曲线,最佳的截断点也在ROC曲线中直接显示 并且有几组评价ROC曲线的信息,包括: 1.ROC曲线下面积(the area under the ROC curve,AUC),ROC曲线与x轴、(1,0)-(1,1)围绕的面积 面积为1、0的几乎不存在 AUC越接近1,离(0,1)点越近,证明诊断试验的真实性越好 AUC就是诊断试验正确区分患者与非患者的可能性 若AUC小于0.7,表示诊断准确度较低 AUC位于0.7~0.9,表示诊断准确度中等 AUC大于0.9,表示诊断准确度高 2.Younden指数,也包括灵敏度和特异性 |