我们在早期“为什么仅总体准确性并不充分”的博文中,讨论了需要对IVD检测的多种临床性能指标进行评审的必要性,表明了总体准确性本身并不足以描述IVD的临床性能。还讨论了灵敏度和特异性的概念以及阳性和阴性预测值(PPV和NPV)。
本博文将深入探讨阳性预测值(PPV)和阴性预测值(NPV),并将其用于灵敏度和特异性限值设定的方法。所使用的定义显示在标准的2x2表(表1)中,通常用于将新的定性检测方法与参考方法或临床实际相比较的情况。
表1:用于将新检测方法与参考方法进行比较的标准2x2表
这里:
TP(真阳性)=参考方法阳性,待评价方法阳性
FP(假阳性)=参考方法阴性,待评价方法阳性
FN(假阴性)=参考方法阳性,待评价方法阴性
TN(真阴性)=参考方法阴性,待评价方法阴性
关键性能统计数据的定义:
准确度= 100 x(TP + TN)/ N
灵敏度= 100 x TP /(TP + FN)
特异性= 100 x TN /(FP + TN)
疾病患病率= 100x(TP + FN)/ N
阳性预测值(PPV)= 100xTP /(TP + FP)
阴性预测值(NPV)= 100xTN /(FN + TN)
从这张2x2表格中可以看出,灵敏度和特异性与患病率无关。让我们通过一个演示其独立性的示例来仔细研究一下。
如果我们正在进行一项研究来预估灵敏度和特异性,患病率从50%到1%,以下的灵敏度和特异性预期性能将保持不变(表2a和2b)。
表2:灵敏度和特异性的示例,其中A)的患病率为50%,B)的患病率为1%
要点是,灵敏度和特异性是相对于患者的临床实际或参考方法检测的性能。若患者为阳性或阴性,相对于临床实际或参考方法检测,该检测结果正确的百分比(灵敏度和特异性)?
阳性和阴性预测值从新检测结果的角度来看2x2表。预测值是,当新检测得出阳性(或阴性)结果时,新检测结果正确的次数相对于新检测报告阳性(或阴性) 结果总数的百分比。换言之,新检测的阳性(或阴性)结果中有多少百分比临床实际上或参考方法检测结果是阳性(或阴性)?从新检测的角度来看,PPV是对阳性结果的估计,而NPV则同样是对于阴性结果的估计。
这些是临床医生确定下一步诊断途径所需的关键信息。测试结果是阳性的(或阴性的),那么该结果正确的可能性有多大?
例如,上面的2x2表格集(测试A和测试B,表2a和2b)具有完全相同的灵敏度和特异性(分别为95%和99%),其中测试A的患病率为50%,测试B的患病率1%。PPV值从患病率50%的99%降至患病率1%的49%。PPV为99%表示检测结果为阳性时,它有99%的概率是正确的。同样,PPV为49%时,患者实际呈阳性的概率只有49%。根据产品的预期用途,这些预测值中的一个,两个或没有哪个值是充分的。要点是,PPV(和NPV)表示新检测的测试结果正确的可能性。
由于预测值涉及检测的灵敏度和特异性以及预期用途人群中疾病或生理状况的患病率,可以看出,同一检测的不同预期用途可能得出非常不同的预测值性能。在确定测定灵敏度和特异性要求时,至关重要的是要查看预期的患病率,以估计预期的PPV和NPV并在预期用途的背景下进行评审。
IVD有不同的用途或目的,例如筛查、诊断、预后等。临床医生将如何使用检测的测试结果应驱动对PPV和NPV的要求。当使用新检测时,错误结果发生的可能性有多大,必须考虑假阳性和假阴性的不同风险。PPV和NPV的最低值是多少,才仍将具有使用该新检测的收益风险正值?给出预计的使用人群患病率,这还将推动对灵敏度和特异性的要求。
例如,假设需要进行检测,PPV必须≥90%,NPV≥99%,预期患病率是20%。这意味着当新检测的结果为阴性时,需要更高水平的置信度且临床医生可以忍受较多的假阳性。这是一组在20%的患病率时满足PPV和NPV要求的灵敏度和特异性数据(表3)。
表3:各种患病率的PPV和NPV集合,灵敏度为96%,特异性为98%
患病率为20%时,灵敏度为96%,特异性为98%,满足PPV(≥90%)和NPV(≥99%)的要求。满足这些PPV和NPV要求的情况下,在20%的患病率中有很多种灵敏度和特异性组合。根据检测的具体情况,为了满足PPV和NPV要求,可能满足一组灵敏度和特异性的要求比满足另一组PPV和NPV的要求容易。在设置检测的灵敏度和特异性要求之前,应考虑到这一点。
对于给定的一组灵敏度和特异性值,要评审患病率会如何影响PPV和NPV的另一个原因是,所有患病率值都是估计值。应当从真实代表预期使用人群的临床试验中估计患病率,并基于临床实际或参考检测方法(而非新检测)。在上面的示例中,如果最优患病率预估为20%,但可能低至10%,这可能是个问题,因为PPV会降至90%以下。因此,了解患病率预估值的好坏,以及它们与该检测的特定预期使用人群之间的关系非常重要。
在考虑设置IVD检测的要求时,重要的是要了解如何使用该检测,在临床使用以及在预期使用人群中的患病率,可以容许的PPV和NPV最低水平。在开始新的检测开发项目时,某些或所有这些信息可能是未知的。为了避免开发出的IVD检测无法满足任何临床需求,在早期开发过程中将这些未知一定程度地填补是至关重要的。