In diesem Blog werden wir die wichtigsten Bereiche der AI-Compliance von Medizinprodukten erörtern und uns dabei auf die FDA und den europäischen Rechtsrahmen konzentrieren. Die Elemente stammen aus dem FDA-Leitfaden zu Good Machine Learning Practices (GMLP), vorab festgelegten Änderungskontrollplänen und Transparenz, kombiniert mit Elementen des Team-NB-Fragebogens zu AI im Rahmen der MDR/IVDR sowie Anforderungen aus dem AI ACT.
Risikomanagement
Ein Kernelement jeder technischen Akte für Medizinprodukte ist die Risikodatei, in der produktspezifische Gefahren und gefährliche Situationen identifiziert werden müssen. Bei AI-gestützten Medizinprodukten umfasst dies auch AI-spezifische Risiken. Zu diesen Risiken gehören auch die Risiken des Datenmanagements, die während der gesamten Lebensdauer des Produkts zu berücksichtigen sind.
AI-Risiken könnten Risiken in Bezug auf Datenqualität, Verzerrungen, Übervertrauen, Datendrift, Umschulung usw. umfassen. Ein guter Ausgangspunkt für die Identifizierung und den Umgang mit AI-spezifischen Risiken ist BS/AAMI 34971, da sie eine Diskussion über spezifische AI-Risiken und praktische Beispiele für maschinenbezogene Gefahren, vorhersehbare Ereignisse, gefährliche Situationen, Schäden und Risikokontrollmaßnahmen enthält.
Die AI-ACT verwendet dieselben Schadenskonzepte wie die ISO 14971, fügt jedoch die Störung kritischer Infrastrukturen und die Verletzung von Verpflichtungen hinsichtlich der Grundrechte hinzu.
Modellauswahl und Schulung
Der Regulierungsprozess verlangt eine Rechtfertigung für die Modellauswahlentscheidungen. Die Entwickler müssen dokumentieren, warum eine bestimmte Modellarchitektur gewählt wurde, und den Nachweis erbringen, dass das gewählte Modell für den beabsichtigten Zweck geeignet ist. Dazu gehören auch Validierungsdaten, die zeigen, dass das Modell die erforderliche Genauigkeit und Präzision für seine medizinische Anwendung erreicht.
Die Sammlung von Nachweisen zur Untermauerung von Behauptungen über die Modellleistung ist eine gesetzliche Anforderung. Die Aufsichtsbehörden erwarten eine umfassende Dokumentation des Trainingsprozesses, der Leistungskennzahlen und der Grenzen des AI-Systems, um sicherzustellen, dass es die Sicherheits- und Wirksamkeitsstandards erfüllt.
Pläne zur Änderungskontrolle
AI-Modelle können nach dem Einsatz neu trainiert werden, um die Leistung zu verbessern. Es ist wichtig, dass im Vorfeld Protokolle entwickelt werden, in denen die Bedingungen, unter denen eine Umschulung zulässig ist, sowie die Grenzen und Schwellenwerte beschrieben werden, um sicherzustellen, dass die Aktualisierung sicher verwendet werden kann. Diese Pläne werden im Rahmen der behördlichen Zulassung des AI-Produkts bewertet, so dass der Hersteller das Medizinprodukt ohne zusätzliche Genehmigung neu trainieren kann, solange die Änderung innerhalb der festgelegten Grenzen liegt.
Einsatz und Überwachung nach dem Inverkehrbringen
Nach der Entwicklung erfordert die Gewährleistung eines sicheren und wirksamen Einsatzes häufig die Sammlung von Beweisen, manchmal auch von klinischen Daten, um die Sicherheit nachzuweisen. Unternehmen müssen robuste Überwachungssysteme implementieren, um die Leistung in der realen Welt zu verfolgen und Prozesse für die Erfassung von Entscheidungen und deren Vergleich mit klinischen Ergebnissen zu entwickeln.
Im Gegensatz zu vielen AI-Anwendungen für Verbraucher kann AI im Gesundheitswesen kein autonomes kontinuierliches Lernen implementieren. Stattdessen sind strukturierte Ansätze für das Umlernen von Modellen unter menschlicher Aufsicht erforderlich. Die Aufsichtsbehörden betonen zunehmend die Anforderungen an die Überwachung nach der Markteinführung von AI-Produkten, einschließlich der Überwachung der laufenden Leistung und der Implementierung von Prozessen zur Identifizierung und Lösung von Problemen, die während des realen Einsatzes auftreten.
Qualitätskultur und Interaktion zwischen Mensch und AI
Die erfolgreiche Implementierung von AI in Medizinprodukten hängt von einer qualitätsorientierten Organisationskultur ab, die Qualitätsaspekte in jeden Entwicklungs-, Einsatz- und Überwachungsaspekt einbezieht. Wie die FDA feststellt, verringert diese "Kultur der Qualität und organisatorischen Exzellenz" das Risiko unsicherer oder unwirksamer Medizinprodukte erheblich.
Ebenso wichtig ist der Fokus auf transparente AI-Systeme, die sicherstellen, dass menschliche Bediener verstehen können, wie die AI funktioniert und potenziell problematische Ergebnisse erkennen. Die Regulierungsbehörden interessieren sich zunehmend für die Leistung des Mensch-AI-Teams, nicht nur für die Genauigkeit der Algorithmen, sondern auch dafür, wie effektiv Mensch und AI im klinischen Umfeld zusammenarbeiten. Mit diesem Ansatz wird anerkannt, dass AI im Gesundheitswesen nicht unabhängig arbeitet, sondern als Teil eines Teams aus Mensch und AI für die Sicherheit der Patienten sorgt.
QMS-Erweiterung
Es ist wichtig, dass alle beschriebenen Elemente durch QMS-Prozesse unterstützt werden, damit die Ausführung dieser Elemente aufgezeichnet und kontrolliert werden kann. Die Hersteller müssen ihr QMS um entsprechende Verfahren erweitern. Für die Einhaltung der AI ACT wird derzeit eine Aktualisierung der ISO 42001 AI Quality Management System als Teil des ersten Harmonisierungsantrags zur Unterstützung der AI ACT vorbereitet.
In unserem nächsten Blog werden wir die regulatorische Strategie für die Einhaltung von AI-Medizinprodukten diskutieren.