Fünf Lücken in der KI-Compliance, die Medizintechnik-Softwareteams stillschweigend zum Scheitern bringen

Die Kluft zwischen „es funktioniert“ und „es entspricht den Vorschriften“ ist größer, als die meisten Softwareteams erwarten, und sie wird meist erst sichtbar, wenn die Behebung bereits kostspielig ist. Im Folgenden werden fünf Bereiche der KI-Konformität gemäß der EU-MDR und der IVDR aufgeführt, die Teams immer wieder vor Probleme stellen, sowie erste Ansatzpunkte zur Behebung der jeweiligen Probleme.

Ihr KI-Medizinprodukt ist nicht nur ein einziges reguliertes Produkt. Es sind drei.

Ein KI-gestütztes Medizinprodukt befindet sich an der Schnittstelle dreier regulierter Bereiche: Software, Medizinprodukte und künstliche Intelligenz. Jeder dieser Bereiche unterliegt eigenen regulatorischen Anforderungen, und dort, wo sie sich überschneiden, summieren sich die Verpflichtungen und betreffen nicht nur das Endprodukt, sondern auch den Prozess zu dessen Herstellung.

Zu verstehen, wo sich ein Produkt in dieser Überschneidung befindet und welche Verpflichtungen sich gegenseitig überlagern, ist der Ausgangspunkt für alles, was folgt.

Lücke 1: Compliance als Phase betrachten, nicht als Teil des Designprozesses

„Um die Compliance kümmern wir uns später.“

Hersteller, die Compliance als eine spätere Phase betrachten, kommen in der Regel erst dann zu diesem „später“, wenn sie bereits Trainingsdaten ohne dokumentierte Herkunft gesammelt und eine Architektur aufgebaut haben, die weder Erklärbarkeit noch Überwachung unterstützt. Zu diesem Zeitpunkt steht meist auch der Verwendungszweck bereits fest – ebenso wie eine Risikoklasse, für die der Hersteller noch keine Nachweise vorbereitet hat.

Wo man anfangen sollte: Definieren Sie den Verwendungszweck und leiten Sie die Klassifizierung ab, bevor Sie die Modellarchitektur festlegen. Diese Entscheidungen bestimmen, welche klinischen und technischen Nachweise erforderlich sind, was wiederum die Datenstrategie prägt. Behandeln Sie den Zulassungsprozess vom ersten Tag an als Fahrplan und nicht als Checkliste am Ende.

Lücke 2: Ihre Testergebnisse belegen die Gültigkeit Ihres Modells, nicht Ihres Produkts

„Unser Modell ist zu 98 % genau.“

Ein gutes Testergebnis zeigt, dass das Modell bei den Daten gut abschneidet. Es zeigt jedoch nicht, dass das Produkt in realen klinischen Arbeitsabläufen, bei Patienten und in den Händen der vorgesehenen Anwender gut funktioniert. Analytische Leistung ist nicht gleich klinische Leistung. Die IMDRF-Leitlinien zur „Good Machine Learning Practice“ stellen ausdrücklich klar, dass es auf die Leistung des Mensch-KI-Teams in der Praxis ankommt, nicht auf den Algorithmus für sich genommen.

Wo Sie anfangen sollten: Planen Sie eine klinische Validierung, bei der das komplette Gerät unter repräsentativen Bedingungen getestet wird: mit echten Anwendern, echten Arbeitsabläufen und einer Population, die der Zweckbestimmung entspricht.

Lücke 3: Ihre Leistungsdaten belegen, dass die Software hilft, nicht aber, dass die KI hilft

„Kliniker erzielen mit unserem Gerät eine um 25 % bessere Leistung.“

Die Vorschriften verlangen nicht nur einen nachgewiesenen Nutzen, sondern auch einen Vergleich mit dem Stand der Technik. Bereits bestehende Software ohne KI-Kern kann echte Vorteile bieten, wie beispielsweise digitale Arbeitsabläufe, strukturierte Daten und Entscheidungsunterstützung. Da KI ein zusätzliches Risiko birgt, muss ihr Einsatz durch einen nachgewiesenen Nutzen gegenüber einem relevanten Vergleichsmaßstab gerechtfertigt werden und darf nicht nur aufgrund des Hype-Faktors eingeführt werden. Kunden mit beeindruckenden Schlagzeilenzahlen hatten Schwierigkeiten nachzuweisen, dass die KI selbst den Ausschlag gab, sobald der richtige Vergleichsmaßstab angewendet wurde.

Wo Sie anfangen sollten: Führen Sie einen Vergleich mit dem tatsächlichen Behandlungsstandard durch, einschließlich aller bereits eingesetzten Nicht-KI-Software. Stellen Sie sicher, dass der Test den Mehrwert der KI isoliert und diesen gegenüber dem zusätzlichen Risiko rechtfertigt.

Lücke 4: Ihre Daten werden eine Überprüfung der technischen Unterlagen wahrscheinlich nicht überstehen

„Unsere Trainingsdaten sind von guter Qualität.“

Die Geschichte hinter den Daten ist genauso wichtig wie die Testergebnisse selbst. Die Aufsichtsbehörden erwarten:

• Datenherkunft und Rückverfolgbarkeit der Quellen
• Ein- und Ausschlusskriterien sowie die Methodik der Datenkennzeichnung
• Demografische Aufschlüsselung und Analyse der Repräsentativität
• Erkennung von Verzerrungen und Maßnahmen zu deren Minderung
• Versionskontrolle des Datensatzes mit Änderungshistorie als Teil der Gerätekonfiguration

Wo man anfangen sollte: Beginnen Sie bereits jetzt mit der Dokumentation von Datenentscheidungen, nicht erst während der Vorbereitung der Einreichung. Halten Sie die Ein- und Ausschlusslogik, das Kennzeichnungsprotokoll und die demografische Aufschlüsselung fest und richten Sie von Anfang an eine Versionsverwaltung für den Datensatz ein.

Lücke 5: Das KI-Gesetz ist bereits im Spiel

„Das KI-Gesetz gilt für uns noch nicht.“

Die Vorschriften des KI-Gesetzes für Hochrisikoprodukte sind zwar noch nicht in Kraft, doch seine Grundsätze prägen bereits jetzt, was benannte Stellen als Stand der Technik betrachten. Ein Großteil dieser Inhalte ist bereits im Team-NB/IG-NB-KI-Fragebogen enthalten – dem Dokument, das benannte Stellen zur Bewertung von KI in Medizinprodukten verwenden.

Wo man anfangen sollte: Führen Sie eine Lückenanalyse der technischen Dokumentation gemäß MDR/IVDR anhand des Team-NB-KI-Fragebogens und der wichtigsten Bestimmungen des KI-Gesetzes durch. Eine frühzeitige Überprüfung kann den Prozess zukunftssicher machen.

Die Lösung liegt nicht darin, härter zu arbeiten, sondern früher zu planen.

Jede Lücke auf dieser Liste lässt sich umso kostengünstiger, schneller und einfacher schließen, je früher sie behoben wird. Wenn Compliance bereits in den Entwicklungsprozess integriert wird, anstatt nachträglich nachgerüstet zu werden, gelangt das Produkt schneller auf den Markt, ist kostengünstiger in der Wartung und hält einer Überprüfung besser stand.

So kann Qserve Sie bei Ihrem KI-fähigen Medizinprodukt unterstützen

• Bewertung der regulatorischen und klinischen Strategie
• Bewertung und Behebung von Compliance-Lücken
• Entwicklung, Implementierung und Auditierung des Qualitätsmanagementsystems
• Unterstützung beim Sicherheitsrisikomanagement
• Unterstützung bei der Usability-Entwicklung
• Unterstützung bei der klinischen Bewertung