Die Notwendigkeit, mehrere Maße der klinischen Leistungsfähigkeit von IVD-Tests zu prüfen, zeigt, dass die Gesamtgenauigkeit allein nicht ausreicht, um die klinische Leistung von IVDs zu beschreiben. Im Anschluss an Sensitivität und Spezifität geht dieser Blog näher auf den positiven prädiktiven Wert (PPV) und den negativen prädiktiven Wert (NPV) ein und darauf, wie diese zur Festlegung von Grenzen für Sensitivität und Spezifität herangezogen werden können.
Die verwendeten Definitionen sind in der standardmäßigen 2x2-Tabelle (Tabelle 1) dargestellt, die üblicherweise verwendet wird, um eine neue qualitative Testmethode mit einer Referenzmethode oder der klinischen Wahrheit zu vergleichen.
Tabelle 1: 2x2-Standardtabelle für den Vergleich eines neuen Assays mit einer Referenzmethode
| Referenz (oder | klinische Wahrheit) | ||
| Methode X | Positiv | Negativ | Summe |
| Positiv | TP | FP | TP+FP |
| Negativ | FN | TN | FN+TN |
| Summe | TP+FN | FP+TN | N |
Wobei:
- TP (wahr positiv) = Referenz positiv und Methode positiv
- FP (falsch positiv) = Referenz negativ und Methode positiv
- FN (falsch negativ) = Referenz positiv und Methode negativ
- TN (echt negativ) = Referenz negativ und Methode negativ
Definitionen der wichtigsten Leistungsstatistiken:
- Genauigkeit = 100 x (TP+TN)/N
- Empfindlichkeit = 100 x TP/(TP+FN)
- Spezifität = 100 x TN/(FP+TN)
- Krankheitsprävalenz = 100 x (TP+FN)/N
- Positiver Vorhersagewert (PPV) = 100 x TP/(TP+FP)
- Negativer Vorhersagewert (NPV) = 100xTN/(FN+TN)
Aus dieser 2x2-Tabelle ist ersichtlich, dass Sensitivität und Spezifität unabhängig von der Prävalenz sind. Schauen wir uns dies anhand eines Beispiels, das die Unabhängigkeit verdeutlicht, genauer an.
Wenn wir eine Studie zur Schätzung von Sensitivität und Spezifität durchführen, bleibt die zugrundeliegende erwartete Leistung von Sensitivität und Spezifität dieselbe, wenn die Prävalenz von 50 % auf 1 % sinkt (Tabelle 2a und 2b).
Tabelle 2: Beispiele für Sensitivität und Spezifität bei A.) einer Prävalenz von 50% und B.) einer Prävalenz von 1%
| Test A | Diagnostische | Genauigkeitskriterien | |
| Positiv | Negativ | Summe | |
| Positiv | 95 | 1 | 96 |
| Negativ | 5 | 99 | 104 |
| Summe | 100 | 100 | 200 |
Prävalenz = 100/200 = 50%
Empfindlichkeit = 95/100 = 95%
Spezifität = 99/100 = 99%
PPV = 95/96 = 99%
NPV = 99/104 = 95,2%
| Test B | Diagnostische | Genauigkeitskriterien | |
| Positiv | Negativ | Summe | |
| Positiv | 95 | 99 | 194 |
| Negativ | 5 | 9801 | 9806 |
| Summe | 100 | 9900 | 10000 |
Prävalenz = 100/10000 = 1%
Empfindlichkeit = 95/100 = 95%
Spezifität = 9801/9900 = 99%
PPV = 95/194 = 49%
NPV = 9801/9806 = 99,9%
Es ist wichtig, sich daran zu erinnern, dass Sensitivität und Spezifität die Leistung im Verhältnis zur klinischen Wahrheit des Patienten oder des Referenztests betrachten. Wenn der Patient positiv oder negativ ist, in wie viel Prozent der Fälle liegt dieser Assay richtig (Sensitivität und Spezifität), bezogen auf die klinische Wahrheit oder den Referenzassay?
Positiver und negativer prädiktiver Wert: Betrachten Sie die 2x2-Tabelle aus der Richtung des Ergebnisses des neuen Assays. Die prädiktiven Werte sind bei einem positiven (oder negativen) Ergebnis des neuen Assays der Prozentsatz der Fälle, in denen der neue Assay richtig liegt, bezogen auf die Anzahl der positiven Ergebnisse, die der neue Assay meldet. Oder anders ausgedrückt: Wie viel Prozent der positiven (oder negativen) Ergebnisse des neuen Assays sind klinisch oder mit dem Referenzassay tatsächlich positiv (oder negativ)? Der PPV ist eine Schätzung für positive Ergebnisse und der NPV ist das Gleiche für negative Ergebnisse aus der Sicht des neuen Assays.
Dies sind wichtige Informationen, die ein Kliniker benötigt, um den nächsten Schritt in der Diagnostik zu bestimmen. Das Ergebnis des Tests ist positiv (oder negativ), wie wahrscheinlich ist das?
Die obige 2x2-Tabelle (Test A und Test B, Tabelle 2a und 2b) hat beispielsweise genau die gleiche Sensitivität und Spezifität (95 % bzw. 99 %), wobei Test A eine Prävalenz von 50 % und Test B eine Prävalenz von 1 % aufweist. Der PPV sinkt von 99 % bei einer Prävalenz von 50 % auf 49 % bei einer Prävalenz von 1 %. Ein PPV von 99 % bedeutet, dass bei einem positiven Testergebnis eine Wahrscheinlichkeit von 99 % besteht, dass es korrekt ist. Bei einem PPV von 49 % besteht dagegen nur eine 49 %ige Chance, dass der Patient tatsächlich positiv ist. Je nach Verwendungszweck des Produkts kann einer, beide oder keiner dieser prädiktiven Werte ausreichend sein. Wichtig ist, dass der PPV (und NPV) angibt, wie wahrscheinlich es ist, dass ein neues Testergebnis korrekt ist.
Da die prädiktiven Werte die Sensitivität und Spezifität des Assays und die Prävalenz der Krankheit oder des Zustands in der vorgesehenen Anwendungspopulation einbeziehen, kann man sehen, dass unterschiedliche Verwendungszwecke mit demselben Assay zu sehr unterschiedlichen prädiktiven Werten führen können. Bei der Bestimmung der Anforderungen an die Sensitivität und Spezifität eines Assays ist es entscheidend, die erwartete Prävalenz zu betrachten, um den erwarteten PPV und NPV zu schätzen, und dies im Zusammenhang mit dem beabsichtigten Verwendungszweck zu überprüfen.
Es gibt verschiedene Verwendungszwecke für IVDs, z. B. Screening, Diagnose, Prognose usw. Die Anforderungen an PPV und NPV sollten sich daran orientieren, wie der Kliniker das Testergebnis verwenden wird. Es muss berücksichtigt werden, wie wahrscheinlich es ist, dass bei der Verwendung des neuen Tests ein falsches Ergebnis erzielt wird, und welche unterschiedlichen Risiken für falsch positive und falsch negative Ergebnisse bestehen. Wie niedrig können PPV und NPV sein und trotzdem ein positives Nutzen-Risiko-Verhältnis für den Einsatz dieses neuen Tests aufweisen? Daraus ergeben sich wiederum die Anforderungen an die Sensitivität und Spezifität, wenn man von einer geschätzten Prävalenz in der vorgesehenen Anwendungspopulation ausgeht.
Nehmen wir zum Beispiel an, dass ein Assay benötigt wird, bei dem der PPV ≥ 90 % und der NPV ≥ 99 % sein muss, bei einer erwarteten Prävalenz von 20 %. Dies bedeutet, dass ein hohes Maß an Vertrauen erforderlich ist, wenn das Ergebnis des neuen Tests negativ ist, und dass die Kliniker ein paar weitere neue positive Testergebnisse, die falsch sind, tolerieren können. Hier ist ein Satz von Sensitivitäts- und Spezifitätswerten, die die Anforderungen an PPV und NPV bei einer Prävalenz von 20 % erfüllen (Tabelle 3).
Tabelle 3: PPVs und NPVs pro Prävalenz für eine Sensitivität von 96 % und eine Spezifität von 98 %
| Sensitivität | Spezifität | |
| Angenommene Prävalenz | 96.0% | 98.0% |
| PPV | NPV | |
| 1% | 32.7% | 100% |
| 2.5% | 55.2% | 99.9% |
| 5% | 71.6% | 99.8% |
| 7.5% | 79.6% | 99.7% |
| 10% | 84.2% | 99.5% |
| 15% | 89.4% | 99.3% |
| 20% | 92.3% | 99.0% |
| 25% | 94.1% | 98.7% |
| 30% | 95.4% | 98.3% |
| 35% | 96.3% | 97.8% |
| 40% | 97.0% | 97.4% |
| 50% | 98.0% | 96.1% |
Eine Sensitivität von 96 % und eine Spezifität von 98 % bei einer Prävalenz von 20 % erfüllt die Anforderungen an PPV (≥90 %) und NPV (≥99 %). Es gibt viele Kombinationen von Sensitivität und Spezifität bei einer Prävalenz von 20 %, die diese Anforderungen an PPV und NPV erfüllen. Je nach den Besonderheiten des Tests kann es einfacher sein, eine Reihe von Sensitivitäts- und Spezifitätsanforderungen zu erfüllen als eine andere, um die PPV- und NPV-Anforderungen zu erfüllen. Dies sollte berücksichtigt werden, bevor die Anforderungen an Sensitivität und Spezifität für den Test festgelegt werden.
Ein weiterer Grund für die Überprüfung, wie sich die Prävalenz auf den PPV und NPV für einen bestimmten Satz von Sensitivitäts- und Spezifitätswerten auswirkt, ist, dass alle Prävalenzwerte Schätzungen sind. Die Prävalenz sollte anhand einer klinischen Studie geschätzt werden, die die vorgesehene Anwendungspopulation wirklich repräsentiert und auf der klinischen Wahrheit oder dem Referenzassay (nicht dem neuen Assay) basiert. Wenn im obigen Beispiel die beste Schätzung für die Prävalenz bei 20 % liegt, diese aber auch nur 10 % betragen könnte, könnte dies ein Problem darstellen, da der PPV unter 90 % fällt. Daher ist es wichtig zu verstehen, wie gut die Schätzungen für die Prävalenz sind und wie gut sie sich auf die spezifische Verwendungspopulation des Assays beziehen.
Bei der Festlegung von Anforderungen an einen IVD-Assay ist es wichtig zu verstehen, wie der Assay verwendet wird, welche Mindestwerte für PPV und NPV im Zusammenhang mit der klinischen Anwendung und der Prävalenz in der vorgesehenen Anwendungspopulation toleriert werden können. Zu Beginn eines neuen Assay-Entwicklungsprojekts sind möglicherweise einige oder alle diese Informationen unbekannt. In der frühen Entwicklungsphase ist es von entscheidender Bedeutung, diese Unbekannten bis zu einem gewissen Grad zu klären, um zu vermeiden, dass ein IVD-Assay entwickelt wird, der keinen klinischen Anforderungen gerecht wird.