In diesem Blog werden wir die wichtigsten Bereiche der KI-Compliance von Medizinprodukten erörtern und uns dabei auf die FDA und den europäischen Rechtsrahmen konzentrieren. Die Elemente stammen aus dem FDA-Leitfaden zu Good Machine Learning Practices (GMLP), vorab festgelegten Änderungskontrollplänen und Transparenz, kombiniert mit Elementen des Team-NB-Fragebogens zu KI im Rahmen der MDR/IVDR sowie Anforderungen aus dem AI ACT.
Risikomanagement
Ein Kernelement jeder technischen Akte für Medizinprodukte ist die Risikodatei, in der produktspezifische Gefahren und gefährliche Situationen identifiziert werden müssen. Bei KI-gestützten Medizinprodukten umfasst dies auch KI-spezifische Risiken. Zu diesen Risiken gehören auch die Risiken des Datenmanagements, die während der gesamten Lebensdauer des Geräts zu berücksichtigen sind.
KI-Risiken könnten Risiken in Bezug auf Datenqualität, Verzerrungen, Übervertrauen, Datendrift, Umschulung usw. umfassen. Ein guter Ausgangspunkt für die Identifizierung und den Umgang mit KI-spezifischen Risiken ist BS/AAMI 34971, da sie eine Diskussion über spezifische KI-Risiken und praktische Beispiele für maschinenbezogene Gefahren, vorhersehbare Ereignisse, gefährliche Situationen, Schäden und Risikokontrollmaßnahmen enthält.
Die KI-ACT verwendet dieselben Schadenskonzepte wie die ISO 14971, fügt jedoch die Störung kritischer Infrastrukturen und die Verletzung von Verpflichtungen hinsichtlich der Grundrechte hinzu.
Modellauswahl und Schulung
Der Regulierungsprozess verlangt eine Rechtfertigung für die Modellauswahlentscheidungen. Die Entwickler müssen dokumentieren, warum eine bestimmte Modellarchitektur gewählt wurde, und den Nachweis erbringen, dass das gewählte Modell für den beabsichtigten Zweck geeignet ist. Dazu gehören auch Validierungsdaten, die zeigen, dass das Modell die erforderliche Genauigkeit und Präzision für seine medizinische Anwendung erreicht.
Die Sammlung von Nachweisen zur Untermauerung von Behauptungen über die Modellleistung ist eine gesetzliche Anforderung. Die Aufsichtsbehörden erwarten eine umfassende Dokumentation des Trainingsprozesses, der Leistungskennzahlen und der Grenzen des KI-Systems, um sicherzustellen, dass es die Sicherheits- und Wirksamkeitsstandards erfüllt.
Pläne zur Änderungskontrolle
KI-Modelle können nach dem Einsatz neu trainiert werden, um die Leistung zu verbessern. Es ist wichtig, dass im Vorfeld Protokolle entwickelt werden, in denen die Bedingungen, unter denen eine Umschulung zulässig ist, sowie die Grenzen und Schwellenwerte beschrieben werden, um sicherzustellen, dass die Aktualisierung sicher verwendet werden kann. Diese Pläne werden im Rahmen der behördlichen Zulassung des KI-Geräts bewertet, so dass der Hersteller das Gerät ohne zusätzliche Genehmigung neu trainieren kann, solange die Änderung innerhalb der festgelegten Grenzen liegt.
Einsatz und Überwachung nach dem Inverkehrbringen
Nach der Entwicklung erfordert die Gewährleistung eines sicheren und wirksamen Einsatzes häufig die Sammlung von Beweisen, manchmal auch von klinischen Daten, um die Sicherheit nachzuweisen. Unternehmen müssen robuste Überwachungssysteme implementieren, um die Leistung in der realen Welt zu verfolgen und Prozesse für die Erfassung von Entscheidungen und deren Vergleich mit klinischen Ergebnissen zu entwickeln.
Im Gegensatz zu vielen KI-Anwendungen für Verbraucher kann KI im Gesundheitswesen kein autonomes kontinuierliches Lernen implementieren. Stattdessen sind strukturierte Ansätze für das Umlernen von Modellen unter menschlicher Aufsicht erforderlich. Die Aufsichtsbehörden betonen zunehmend die Anforderungen an die Überwachung nach der Markteinführung von KI-Geräten, einschließlich der Überwachung der laufenden Leistung und der Implementierung von Prozessen zur Identifizierung und Lösung von Problemen, die während des realen Einsatzes auftreten.
Qualitätskultur und Interaktion zwischen Mensch und KI
Die erfolgreiche Implementierung von KI in Medizinprodukten hängt von einer qualitätsorientierten Organisationskultur ab, die Qualitätsaspekte in jeden Entwicklungs-, Einsatz- und Überwachungsaspekt einbezieht. Wie die FDA feststellt, verringert diese "Kultur der Qualität und organisatorischen Exzellenz" das Risiko unsicherer oder unwirksamer Geräte erheblich.
Ebenso wichtig ist der Fokus auf transparente KI-Systeme, die sicherstellen, dass menschliche Bediener verstehen können, wie die KI funktioniert und potenziell problematische Ergebnisse erkennen. Die Regulierungsbehörden interessieren sich zunehmend für die Leistung des Mensch-KI-Teams, nicht nur für die Genauigkeit der Algorithmen, sondern auch dafür, wie effektiv Mensch und KI im klinischen Umfeld zusammenarbeiten. Mit diesem Ansatz wird anerkannt, dass KI im Gesundheitswesen nicht unabhängig arbeitet, sondern als Teil eines Teams aus Mensch und KI für die Sicherheit der Patienten sorgt.
QMS-Erweiterung
Es ist wichtig, dass alle beschriebenen Elemente durch QMS-Prozesse unterstützt werden, damit die Ausführung dieser Elemente aufgezeichnet und kontrolliert werden kann. Die Hersteller müssen ihr QMS um entsprechende Verfahren erweitern. Für die Einhaltung der AI ACT wird derzeit eine Aktualisierung der ISO 42001 AI Quality Management System als Teil des ersten Harmonisierungsantrags zur Unterstützung der AI ACT vorbereitet.
In unserem nächsten Blog werden wir die regulatorische Strategie für die Einhaltung von AI-Medizinprodukten diskutieren.