Fünf Prinzipien für verantwortungsvolle KI in der Patientenkommunikation bei medizinischer Bildgebung

KI-Systeme, die direkt mit Patienten interagieren, können medizinische Bildgebungsinformationen zugänglicher machen, doch Zugänglichkeit allein reicht nicht aus. Eine klare Antwort kann dennoch falsch, unvollständig, schlecht getimt oder außerhalb des Kontexts, für den sie entwickelt wurde, verwendet werden.

Verantwortungsbewusstes Design beginnt mit einer Governance-Frage statt einer Technologiefrage: Welche Rolle sollte dieses System im Behandlungsprozess eines Patienten spielen dürfen?

Die folgenden fünf Prinzipien bieten einen praktischen Rahmen für Organisationen, die Tools entwickeln oder einsetzen, die Radiologieberichte oder verwandte Bildgebungsinformationen erklären. Sie sind kein Ersatz für rechtliche, regulatorische, klinische, Datenschutz- oder Sicherheitsprüfungen. Sie sind ein Ausgangspunkt, um Produktentscheidungen mit Patientensicherheit und vertrauenswürdiger Kommunikation in Einklang zu bringen.

1. Definieren Sie den vorgesehenen Nutzen – und die Grenzen

Ein Produkt sollte genau angeben, was es tut. „Nutzt KI für medizinische Bildgebung“ ist kein ausreichender vorgesehener Nutzen. Eine sicherere Beschreibung unterscheidet zwischen mehreren sehr unterschiedlichen Funktionen:

• Erklärung allgemeiner radiologischer Terminologie;
• Identifizierung von Abschnitten eines bestehenden Berichts;
• Umformulierung von Berichtstext in einfache Sprache;
• Generierung von Fragen für einen klinischen Termin;
• Analyse medizinischer Bilder;
• Erkennung, Diagnose oder Vorhersage von Krankheiten;
• Empfehlung von Behandlung oder Nachsorge.

Der Übergang von Bildung hin zu Diagnose oder Behandlung verändert das Risikoprofil und kann die geltenden regulatorischen Pflichten ändern. Die FDA weist darauf hin, dass sie Medizinprodukte basierend auf dem vorgesehenen Nutzen und technologischen Eigenschaften reguliert; KI-gestützte Funktionen, die für Diagnose, Behandlung, Linderung oder Prävention vorgesehen sind, können unter das Medizinproduktegesetz fallen (KI-gestützte Medizinprodukte).

Der vorgesehene Nutzen sollte konsistent in Marketing, Benutzeroberfläche, Onboarding, Ausgabetext, internen Tests und Kundensupport widergespiegelt werden. Ein Haftungsausschluss kann ein Produkt nicht korrigieren, dessen Hauptnutzung Benutzer dazu ermutigt, Bildungsinhalte als Diagnose zu behandeln.

Praktische Kontrollen

• Formulieren Sie eine einzeilige Nutzungsbeschreibung.
• Listen Sie verbotene oder nicht unterstützte Nutzungen auf.
• Vermeiden Sie Diagnoseaussagen, es sei denn, das Produkt ist entsprechend validiert und dafür zugelassen.
• Verhindern Sie, dass Marketingaussagen die Evidenz überschreiten.
• Bewerten Sie den vorgesehenen Nutzen neu, wenn sich Funktionen oder Modelle ändern.

2. Bewahren Sie die Bedeutung der Quelle

Einfachsprachliche Ausgaben sollten das Vokabular vereinfachen, nicht die klinische Bedeutung verändern. Radiologische Sprache enthält Details, die bei der Zusammenfassung erhalten bleiben müssen:

• Verneinung;
• Unsicherheit und Wahrscheinlichkeit;
• Lateralität und anatomische Lage;
• Messungen und Einheiten;
• Vergleich mit früheren Studien;
• Empfehlungen und Zeitrahmen;
• Technische Einschränkungen;
• Unterscheidung zwischen Beobachtungen und Schlussfolgerungen.

Ein Erklärungssystem sollte die ursprüngliche Quelle verfügbar machen und, wo möglich, jede Erklärung auf den relevanten Satz zurückführen. Benutzer sollten erkennen können, ob eine Aussage aus dem Radiologiebericht stammt oder vom System generiert wurde.

Dieses Design unterstützt die Fehlererkennung. Es reduziert auch die Versuchung, eine elegante Zusammenfassung als Ersatz für die ursprüngliche Patientenakte zu interpretieren.

Praktische Kontrollen

• Zeigen Sie den Quelltext neben Erklärungen an.
• Verwenden Sie automatische Prüfungen für Verneinung, Lateralität, Messungen und Daten.
• Verbieten Sie nicht unterstützte Ergänzungen.
• Bewahren Sie Unsicherheit, anstatt sie durch definitive Sprache zu ersetzen.
• Eskalieren Sie mehrdeutigen oder intern widersprüchlichen Text, anstatt zu raten.

3. Halten Sie Menschen für klinische Entscheidungen verantwortlich

Die Leitlinien der Weltgesundheitsorganisation (WHO) zu KI in der Gesundheit identifizieren den Schutz menschlicher Autonomie, Sicherheit, Transparenz, Verantwortlichkeit, Inklusivität und Nachhaltigkeit als Kernprinzipien. Menschen sollten die Kontrolle über Gesundheitssysteme und medizinische Entscheidungen behalten (WHO-Ethik und Governance von KI in der Gesundheit).

Bei patientenorientierten Bildgebungstools sollte „menschliche Aufsicht“ konkret sein. Eine generische Anweisung, „einen Arzt zu konsultieren“, ist unzureichend, wenn das Produkt gleichzeitig eine selbstbewusste Diagnose liefert oder Nachsorge entmutigt.

Das System sollte dem Benutzer helfen, den geeigneten nächsten menschlichen Kontakt zu identifizieren: den behandelnden Arzt, Radiologen, Spezialisten, Hausarzt oder Notdienst. Es sollte auch erklären, dass der verantwortliche Fachmann den Bericht im Kontext von Anamnese, Symptomen, Untersuchung und anderen Tests interpretieren wird.

Praktische Kontrollen

• Initiiere, stoppe oder modifiziere keine Behandlung eigenständig.
• Ersetze keine Nachsorgeempfehlung des Berichts.
• Biete klare Wege für professionelle Überprüfung.
• Verwende symptombasierte Notfallleitlinien, die nicht von KI-Beruhigung abhängen.
• Mache es einfach, falsche oder schädliche Ausgaben zu melden.

4. Behandeln Sie Datenschutz und Sicherheit als klinische Sicherheitsfragen

Bildgebungsberichte können Namen, Geburtsdaten, Patientenaktennummern, Untersuchungsdaten, Diagnosen und andere sensible Informationen enthalten. Eine Organisation sollte nur das sammeln, was für den angegebenen Zweck notwendig ist, und erklären, wie Informationen verarbeitet werden.

Die Datenschutzkommunikation sollte praktische Fragen beantworten:

• Welche Informationen werden hochgeladen oder eingegeben?
• Werden sie gespeichert, und wenn ja, wie lange?
• Werden sie verwendet, um Modelle zu trainieren oder zu verbessern?
• Welche Prozessoren oder Dienstleister erhalten sie?
• Wo werden sie verarbeitet?
• Kann ein Benutzer sie löschen?
• Wie werden Zugriff, Verschlüsselung, Incident-Response und Aufbewahrung verwaltet?

Die Anforderungen variieren je nach Rechtsgebiet und Geschäftsmodell. Die Einhaltung sollte von qualifizierten Datenschutz- und Rechtsfachleuten bewertet werden; Organisationen sollten nicht davon ausgehen, dass ein Verbraucher-Haftungsausschluss Gesundheitsdatenpflichten erfüllt.

Sicherheit betrifft auch das klinische Vertrauen. Ein veränderter Bericht, eine vermischte Patientenakte oder eine unbefugte Offenlegung kann Schaden verursachen, selbst wenn das Erklärungsmodell selbst korrekt funktioniert.

Praktische Kontrollen

• Minimieren Sie die Datensammlung und -speicherung.
• Ermutigen Sie zur Entfernung unnötiger Identifikatoren, wo angebracht.
• Trennen Sie Benutzerkonten und Patientenakten zuverlässig.
• Verschlüsseln Sie Daten während der Übertragung und im Ruhezustand, wo anwendbar.
• Dokumentieren Sie Subprozessoren und Datenflüsse.
• Testen Sie Löschung, Zugriffskontrolle, Audit-Protokollierung und Incident-Response.

5. Bewerten Sie kontinuierlich im realen Nutzungskontext

Die Modellleistung in einem kontrollierten Testset stellt keine Sicherheit in jeder Population oder jedem Workflow dar. Berichtsstile unterscheiden sich zwischen Institutionen, Modalitäten, Ländern und Radiologen. Patienten unterscheiden sich in Gesundheitskompetenz, Sprache, Behinderung, Alter, Zugang zu Versorgung und emotionalem Zustand.

Die Transparenzprinzipien der FDA, Health Canada und MHRA betonen die Leistung des Mensch-KI-Teams, wesentliche Informationen für Benutzer, Kontext und menschenzentriertes Design. Transparenz sollte den vorgesehenen Nutzen, die Leistung, Einschränkungen und die Informationen kommunizieren, die Risiken oder Patientenergebnisse beeinflussen können (Transparenz für KI-gestützte Medizinprodukte).

Die Bewertung sollte daher mehr als einen einzelnen Genauigkeitswert umfassen. Sie sollte fragen:

• Bewahrt das System die klinische Bedeutung?
• Verstehen Patienten Unsicherheit?
• Können Benutzer Bildung von Diagnose unterscheiden?
• Verbessert die Ausgabe die Fragen, die in einem klinischen Termin gestellt werden?
• Erhalten bestimmte Berichtstypen oder Patientengruppen eher schlechte Erklärungen?
• Erscheinen Warnungen zur richtigen Zeit und in verständlicher Sprache?
• Was passiert, wenn die Eingabe unvollständig, widersprüchlich oder außerhalb des Rahmens ist?

Praktische Kontrollen

• Pflegen Sie repräsentative Testsets über Berichtstypen und Populationen hinweg.
• Beziehen Sie Radiologen, Kliniker, Patienten, Sicherheitsexperten und Barrierefreiheitsexperten in die Bewertung ein.
• Überwachen Sie reale Fehler und Beinahe-Fehler.
• Versionieren Sie Modelle, Eingabeaufforderungen, Richtlinien und Bewertungsergebnisse.
• Definieren Sie Schwellenwerte für Rollback oder Aussetzung.
• Revalidieren Sie nach wesentlichen Systemänderungen.

Governance muss im Produkt sichtbar sein

Verantwortungsvolle KI wird nicht durch das Veröffentlichen von Prinzipien erreicht, denen Benutzer nie begegnen. Governance sollte in der Benutzererfahrung selbst sichtbar sein:

• Eine klare Zweckbeschreibung vor dem Hochladen;
• Zustimmungs- und Datenschutzinformationen in lesbarer Sprache;
• Originaltext neben generierten Erklärungen;
• Sichtbare Unsicherheit und Einschränkungen;
• Eine klare Trennung zwischen Berichtsinhalt und KI-generiertem Inhalt;
• Einfacher Zugang zu professioneller Nachsorge;
• Mechanismen zur Fehlerkorrektur und Datenlöschung.

Diese Funktionen können ein Produkt weniger mühelos erscheinen lassen als eines, das einfach eine definitive Antwort liefert. Diese Reibung kann schützend sein. In der Gesundheitsversorgung sollte Vertrauen auf Evidenz folgen, nicht sie ersetzen.

Eine Checkliste für Gesundheitsführer

Vor der Einführung eines patientenorientierten KI-Tools für medizinische Bildgebung sollte eine Organisation folgende Fragen beantworten können:

1. Welche genaue Aufgabe soll das System erfüllen?
2. Welche Aufgaben liegen explizit außerhalb seines Anwendungsbereichs?
3. Welche Evidenz unterstützt seine Leistung für die vorgesehenen Benutzer?
4. Wie bewahrt es Unsicherheit, Verneinung, Lateralität und Messungen?
5. Können Benutzer Erklärungen auf den Originalbericht zurückführen?
6. Wer bleibt für klinische Entscheidungen verantwortlich?
7. Wie werden Datenschutz, Aufbewahrung, Löschung und Sicherheit gehandhabt?
8. Wie werden Fehler gemeldet, untersucht und korrigiert?
9. Wie wird die Leistung über Populationen und Zeit hinweg überwacht?
10. Welche Bedingungen lösen Eskalation, Rollback oder Aussetzung aus?

Wenn diese Fragen nicht klar beantwortet werden können, ist die Einführung verfrüht.

Von hilfreicher Sprache zu vertrauenswürdigen Systemen

Das Versprechen patientenorientierter Bildgebungs-KI besteht nicht darin, Kliniker aus dem Prozess zu entfernen. Ihr Wert liegt darin, Patienten dabei zu helfen, sich in einer schwierigen Informationsumgebung zurechtzufinden, die Grenzen automatisierter Erklärungen zu erkennen und effektiver an Gesprächen über ihre Versorgung teilzunehmen.

Vertrauenswürdige Systeme setzen einen engen Zweck, bewahren die Quelle, halten Menschen verantwortlich, schützen sensible Informationen und testen nach der Einführung weiter. Diese Praktiken sind keine Hindernisse für Innovation. Sie sind das, was nützliche Innovation nachhaltig macht.

Referenzen

• Weltgesundheitsorganisation. Ethik und Governance von KI in der Gesundheit.
• Weltgesundheitsorganisation. WHO fordert sichere und ethische KI für die Gesundheit.
• U.S. Food and Drug Administration. KI-gestützte Medizinprodukte.
• U.S. Food and Drug Administration, Health Canada und MHRA. Transparenz für KI-gestützte Medizinprodukte: Leitprinzipien.
• RadiologyInfo.org. Alles über Ihren Radiologiebericht: Was Sie wissen sollten.

---