Pięć zasad odpowiedzialnego wykorzystania sztucznej inteligencji w obrazowaniu medycznym skierowanym do pacjentów

Sztuczna inteligencja skierowana do pacjentów może sprawić, że informacje z obrazowania medycznego staną się bardziej przystępne, ale sama dostępność nie wystarczy. Jasna odpowiedź może nadal być błędna, niekompletna, źle czasowo dostarczona lub użyta poza kontekstem, dla którego została zaprojektowana.

Odpowiedzialne projektowanie zaczyna się od zadania pytania dotyczącego zarządzania, a nie technologii: Jaką rolę powinien odgrywać ten system w procesie opieki nad pacjentem?

Poniższe pięć zasad oferuje praktyczne ramy dla organizacji rozwijających lub wdrażających narzędzia wyjaśniające raporty radiologiczne lub powiązane informacje z obrazowania. Nie są one substytutem przeglądu prawnego, regulacyjnego, klinicznego, prywatnościowego lub bezpieczeństwa. Stanowią punkt wyjścia do dostosowania decyzji produktowych do bezpieczeństwa pacjentów i godnej zaufania komunikacji.

1. Zdefiniuj zamierzone użycie—i granice wokół niego

Produkt powinien precyzyjnie określać, co robi. „Wykorzystuje sztuczną inteligencję do obrazowania medycznego” nie jest wystarczającym opisem zamierzonego użycia. Bezpieczniejszy opis rozróżnia kilka bardzo różnych funkcji:

• Wyjaśnianie ogólnej terminologii radiologicznej;
• Identyfikowanie sekcji istniejącego raportu;
• Przeformułowanie tekstu raportu w prosty język;
• Generowanie pytań na wizytę kliniczną;
• Analizowanie obrazów medycznych;
• Wykrywanie, diagnozowanie lub przewidywanie choroby;
• Rekomendowanie leczenia lub dalszej obserwacji.

Przejście od edukacji w kierunku diagnozy lub leczenia zmienia profil ryzyka i może zmienić obowiązujące wymagania regulacyjne. FDA zauważa, że reguluje urządzenia medyczne na podstawie zamierzonego użycia i charakterystyk technologicznych; funkcje oparte na sztucznej inteligencji przeznaczone do diagnozy, leczenia, łagodzenia lub zapobiegania mogą podlegać ramom dotyczącym urządzeń medycznych (Artificial Intelligence-Enabled Medical Devices).

Zamierzone użycie powinno być konsekwentnie odzwierciedlane w marketingu, tekście interfejsu, onboardingu, języku wyników, testach wewnętrznych i wsparciu klienta. Zastrzeżenie nie może poprawić produktu, którego główne doświadczenie zachęca użytkowników do traktowania wyjścia edukacyjnego jako diagnozy.

Praktyczne kontrole

• Napisz jednozdaniowe oświadczenie o zamierzonym użyciu.
• Wymień zabronione lub nieobsługiwane użycia.
• Unikaj twierdzeń diagnostycznych, chyba że produkt jest odpowiednio zwalidowany i autoryzowany do nich.
• Zapobiegaj, aby język marketingowy przekraczał dowody.
• Ponownie oceniaj zamierzone użycie za każdym razem, gdy zmieniają się funkcje lub modele.

2. Zachowaj znaczenie źródła

Wyjście w prostym języku powinno upraszczać słownictwo, a nie zmieniać znaczenie kliniczne. Język radiologiczny zawiera szczegóły, które muszą przetrwać podsumowanie:

• Negacja;
• Niepewność i prawdopodobieństwo;
• Późność i lokalizacja anatomiczna;
• Pomiary i jednostki;
• Porównanie z poprzednimi badaniami;
• Rekomendacje i ramy czasowe;
• Ograniczenia techniczne;
• Rozróżnienie między obserwacjami a wnioskami.

System wyjaśniający powinien udostępniać oryginalne źródło i, tam gdzie to praktyczne, śledzić każde wyjaśnienie z powrotem do odpowiedniego zdania. Użytkownicy powinni być w stanie stwierdzić, czy stwierdzenie pochodzi z raportu radiologa, czy zostało wygenerowane przez system.

To projektowanie wspiera wykrywanie błędów. Zmniejsza również pokusę interpretowania eleganckiego podsumowania jako zastępstwa oryginalnej dokumentacji medycznej.

Praktyczne kontrole

• Wyświetlaj tekst źródłowy obok wyjaśnień.
• Używaj automatycznych kontroli dla negacji, późności, pomiarów i dat.
• Zabroń nieuzasadnionych dodatków.
• Zachowaj niepewność zamiast zastępować ją językiem definitywnym.
• Eskaluj niejednoznaczny lub wewnętrznie niespójny tekst zamiast zgadywać.

3. Pozostaw ludzi odpowiedzialnymi za decyzje kliniczne

Wytyczne Światowej Organizacji Zdrowia dotyczące sztucznej inteligencji w zdrowiu identyfikują ochronę autonomii człowieka, bezpieczeństwo, przejrzystość, odpowiedzialność, inkluzywność i zrównoważony rozwój jako podstawowe zasady. Ludzie powinni pozostawać w kontroli systemów opieki zdrowotnej i decyzji medycznych (WHO Ethics and Governance of Artificial Intelligence for Health).

Dla narzędzi obrazowania skierowanych do pacjentów „nadzór człowieka” powinien być konkretny. Ogólna instrukcja „skonsultuj się z lekarzem” jest niewystarczająca, jeśli produkt jednocześnie dostarcza pewnej diagnozy lub zniechęca do dalszej obserwacji.

System powinien pomóc użytkownikowi zidentyfikować odpowiedni następny kontakt z człowiekiem: lekarza zlecającego, radiologa, specjalistę, lekarza podstawowej opieki zdrowotnej lub służby ratunkowe. Powinien również wyjaśnić, że odpowiedzialny profesjonalista zinterpretuje raport wraz z historią, objawami, badaniem i innymi testami.

Praktyczne kontrole

• Nie inicjuj, nie zatrzymuj ani nie modyfikuj leczenia niezależnie.
• Nie zastępuj rekomendacji dotyczących dalszej obserwacji w raporcie.
• Zapewnij jasne ścieżki do profesjonalnego przeglądu.
• Używaj wskazówek dotyczących nagłych przypadków opartych na objawach, które nie zależą od uspokojenia przez sztuczną inteligencję.
• Ułatw zgłaszanie błędnych lub szkodliwych wyników.

4. Traktuj prywatność i bezpieczeństwo jako kwestie bezpieczeństwa klinicznego

Raporty z obrazowania mogą zawierać nazwiska, daty urodzenia, numery kart medycznych, daty badań, diagnozy i inne wrażliwe informacje. Organizacja powinna zbierać tylko to, co jest konieczne do określonego celu, i wyjaśniać, jak przetwarzane są informacje.

Komunikacja dotycząca prywatności powinna odpowiadać na praktyczne pytania:

• Jakie informacje są przesyłane lub wprowadzane?
• Czy są przechowywane i przez jak długi czas?
• Czy są używane do trenowania lub poprawiania modeli?
• Którzy procesorzy lub dostawcy usług je otrzymują?
• Gdzie są przetwarzane?
• Czy użytkownik może je usunąć?
• Jak zarządzane są dostęp, szyfrowanie, reagowanie na incydenty i przechowywanie?

Wymagania różnią się w zależności od jurysdykcji i modeli biznesowych. Zgodność powinna być oceniana przez wykwalifikowanych specjalistów ds. prywatności i prawa; organizacje nie powinny zakładać, że zastrzeżenie skierowane do konsumentów rozwiązuje obowiązki dotyczące danych zdrowotnych.

Bezpieczeństwo również wpływa na zaufanie kliniczne. Zmieniony raport, pomieszana dokumentacja pacjenta lub nieautoryzowane ujawnienie może spowodować szkody, nawet gdy sam model wyjaśniający działa poprawnie.

Praktyczne kontrole

• Minimalizuj zbieranie i przechowywanie danych.
• Zachęcaj do usuwania niepotrzebnych identyfikatorów tam, gdzie to odpowiednie.
• Oddzielaj niezawodnie konta użytkowników i dokumentację pacjentów.
• Szyfruj dane w tranzycie i w spoczynku tam, gdzie to ma zastosowanie.
• Dokumentuj podprocesory i przepływy danych.
• Testuj usuwanie, kontrolę dostępu, logowanie audytowe i reagowanie na incydenty.

5. Ciągle oceniaj w rzeczywistym kontekście użycia

Wydajność modelu w kontrolowanym zestawie testowym nie ustala bezpieczeństwa w każdej populacji lub przepływie pracy. Style raportów różnią się między instytucjami, modalnościami, krajami i radiologami. Pacjenci różnią się pod względem wiedzy zdrowotnej, języka, niepełnosprawności, wieku, dostępu do opieki i stanu emocjonalnego.

Zasady przejrzystości FDA, Health Canada i MHRA podkreślają wydajność zespołu człowiek-sztuczna inteligencja, istotne informacje dla użytkowników, kontekst i projektowanie zorientowane na człowieka. Przejrzystość powinna komunikować zamierzone użycie, wydajność, ograniczenia i informacje, które mogą wpływać na ryzyko lub wyniki pacjentów (Transparency for Machine Learning-Enabled Medical Devices).

Ocena powinna więc obejmować więcej niż pojedynczy wynik dokładności. Powinna pytać:

• Czy system zachowuje znaczenie kliniczne?
• Czy pacjenci rozumieją niepewność?
• Czy użytkownicy potrafią odróżnić edukację od diagnozy?
• Czy wynik poprawia pytania zadawane na wizycie klinicznej?
• Czy pewne typy raportów lub grupy pacjentów są bardziej narażone na słabe wyjaśnienia?
• Czy ostrzeżenia pojawiają się we właściwym czasie i w zrozumiałym języku?
• Co się dzieje, gdy dane wejściowe są niekompletne, sprzeczne lub poza zakresem?

Praktyczne kontrole

• Utrzymuj reprezentatywne zestawy testowe obejmujące różne typy raportów i populacje.
• Włącz radiologów, klinicystów, pacjentów, specjalistów ds. bezpieczeństwa i ekspertów ds. dostępności do oceny.
• Monitoruj błędy i bliskie pomyłki w rzeczywistym świecie.
• Wersjonuj modele, podpowiedzi, polityki i wyniki oceny.
• Zdefiniuj progi dla wycofania lub zawieszenia.
• Ponownie waliduj po znaczących zmianach systemowych.

Zarządzanie musi być widoczne w produkcie

Odpowiedzialna sztuczna inteligencja nie jest osiągana przez publikowanie zasad, z którymi użytkownicy nigdy się nie spotykają. Zarządzanie powinno pojawiać się w samym doświadczeniu:

• Jasne oświadczenie celu przed przesłaniem;
• Informacje o zgodzie i prywatności w czytelnym języku;
• Oryginalny tekst obok wygenerowanych wyjaśnień;
• Widoczna niepewność i ograniczenia;
• Jasne rozdzielenie treści raportu i treści generowanych przez sztuczną inteligencję;
• Łatwy dostęp do profesjonalnej dalszej obserwacji;
• Mechanizmy do poprawiania błędów i usuwania danych.

Te funkcje mogą sprawić, że produkt będzie wydawał się mniej bezproblemowy niż ten, który po prostu produkuje definitywną odpowiedź. To tarcie może być ochronne. W opiece zdrowotnej pewność powinna wynikać z dowodów, a nie je zastępować.

Lista kontrolna dla liderów opieki zdrowotnej

Przed przyjęciem narzędzia sztucznej inteligencji w obrazowaniu medycznym skierowanym do pacjentów organizacja powinna być w stanie odpowiedzieć:

1. Jakie dokładne zadanie ma wykonywać system?
2. Jakie zadania są wyraźnie poza jego zakresem?
3. Jakie dowody wspierają jego wydajność dla zamierzonych użytkowników?
4. Jak zachowuje niepewność, negację, późność i pomiary?
5. Czy użytkownicy mogą śledzić wyjaśnienia do oryginalnego raportu?
6. Kto pozostaje odpowiedzialny za decyzje kliniczne?
7. Jak są zarządzane prywatność, przechowywanie, usuwanie i bezpieczeństwo?
8. Jak są zgłaszane, badane i poprawiane błędy?
9. Jak jest monitorowana wydajność w różnych populacjach i w czasie?
10. Jakie warunki wywołują eskalację, wycofanie lub zawieszenie?

Jeśli te pytania nie mogą być jasno odpowiedziane, wdrożenie jest przedwczesne.

Od pomocnego języka do godnych zaufania systemów

Obietnica sztucznej inteligencji w obrazowaniu medycznym skierowanym do pacjentów nie polega na tym, że może usunąć klinicystów z procesu. Jej wartość leży w pomaganiu pacjentom w nawigacji w trudnym środowisku informacyjnym, rozpoznawaniu ograniczeń automatycznego wyjaśniania i bardziej efektywnym uczestnictwie w rozmowach o ich opiece.

Godne zaufania systemy ustalają wąski cel, zachowują źródło, pozostawiają ludzi odpowiedzialnymi, chronią wrażliwe informacje i kontynuują testowanie po uruchomieniu. Te praktyki nie są przeszkodami dla innowacji. Są tym, co sprawia, że użyteczne innowacje są trwałe.

Referencje

• Światowa Organizacja Zdrowia. Ethics and Governance of Artificial Intelligence for Health.
• Światowa Organizacja Zdrowia. WHO Calls for Safe and Ethical AI for Health.
• U.S. Food and Drug Administration. Artificial Intelligence-Enabled Medical Devices.
• U.S. Food and Drug Administration, Health Canada, and MHRA. Transparency for Machine Learning-Enabled Medical Devices: Guiding Principles.
• RadiologyInfo.org. All About Your Radiology Report: What to Know.

---