KI i helsevesenet: Treffsikkerhet er ikke nok

Basert på egen erfaring og beslutningsstøtte fra KI-systemet, sier sykepleieren at det ikke er behov for å se sykehuslegen, og at du kan ta kontakt med fastlegen igjen for videre oppfølging. Ville du som pasient stolt på vurderingen? Ville sykepleieren og sykehuslegen stolt på den?

For mange er svaret trolig «kanskje», med ulike forbehold, og dette «kanskje» må helsevesenet ta på alvor.

KI er på god vei inn i sykehusene. De ulike systemene kan blant annet lese bilder, foreslå journalnotater, prioritere henvisninger, støtte diagnostiske beslutninger og forutsi sykdomsforløp. Mye av debatten handler derfor naturligvis om effektivitet og treffsikkerhet. Treffer systemet godt nok? Gjør det færre feil enn mennesker? Kan det korte ned ventelister og avlaste legene?

Dette er helt sentrale spørsmål, men det er også en annen spørsmålsrekke som er viktig, nemlig hvorvidt vi har tillit til KI-systemene, og hvis ikke, hva skal til?

I en nylig studie spurte vi pasienter og helsepersonell om innføring av KI-basert klinisk beslutningsstøtte i klinisk nevrofysiologi, et medisinsk fagfelt der store mengder data fra nerver, muskler og hjerneaktivitet tolkes av spesialister. Begge grupper var i hovedsak positive, og hadde tydelige forventninger til blant annet mer nøyaktig diagnostikk, mer effektiv drift, bedre tjenestetilgjengelighet og mer rettferdige helsetjenester. Optimismen er lett å forstå: vi vet at mangel på helsepersonell er en stor utfordring både nå og i framtiden, ventelistene kan være lange, og spesialistkompetanse er skjevt fordelt og sentralisert. KI kan bidra til å utnytte ressursene bedre.

Da vi spurte mer konkret kom likevel bekymringene tydelig frem: helsepersonell var blant annet bekymret for hvem som har ansvaret når noe går galt, om klinisk kompetanse gradvis vil svekkes, og om det også vil føre til teknisk avhengighet og svekkede fagmiljøer. Pasienter var i tillegg opptatt av åpenhet, menneskelig kontroll, tilgang til lege, forholdet mellom lege og pasient, og hvorvidt sensitive helsedata brukes til utvikling av nye systemer på et trygt og ansvarsfullt vis.

Studien viser tydelig at tillit til KI i helsevesenet er avhengig av mye mer enn bare treffsikkerhet.

Flere studier har vist at mennesker ofte foretrekker en beslutning tatt av en lege fremfor en KI-basert anbefaling, selv når KI-systemet oppgis å være mer treffsikkert. Denne skepsisen er ikke nødvendigvis uttrykk for teknologifrykt, men handler nok også om hva pasienten trenger fra helsetjenesten: et menneske som kan forklare, lytte, tvile, ta ansvar, se helheten og gjøre unntak i beste kliniske mening når situasjonen krever det, for en pasient i en asymmetrisk og sårbar posisjon.

Hva skal til for å få til god implementering av KI-systemer i helsevesenet, om treffsikkerhet ikke er nok?

For det første behøver helsepersonell KI-kompetanse. Det bør inn både som del av grunnutdanningen og som opplæring på arbeidsplassen. De som benytter KI-basert beslutningsstøtte må forstå de viktigste elementene av hva systemet er ment å gjøre, hvilke data det bygger på, hvilke begrensninger det har, og når det bør overstyres. De må også kunne forklare dette til pasienter på en forståelig måte.

For det andre må ansvaret være tydelig for alle parter. Når KI-systemer brukes i helsevesenet må pasienten vite at det fortsatt finnes et menneske og en institusjon som står ansvarlig. Helsepersonell må kunne overprøve systemet og ha ansvaret for den endelige beslutningen.

For det tredje er det viktig at det finnes en «vei videre» dersom et KI-system ikke finner noe galt, og pasienten sendes hjem uten legekonsultasjon. Pasienten kan sitte igjen med mange spørsmål og føle seg «sortert bort», samtidig som plagene fortsatt er tilstede.

KI-systemer er allerede tatt i bruk ved norske sykehus, og vil bli en stadig større del av helsetjenesten. Vi har regelverk og gode kontrollmekanismer som sørger for at systemene skal være treffsikre, trygge og egnet for klinisk bruk. Likevel, tillit bygges ikke bare gjennom en sentral godkjenning, men i større grad i hverdagsmøtene mellom pasient, helsepersonell, teknologi og institusjon. Derfor må vi ta på alvor de bekymringer som helsepersonell sitter med, og lytte til pasientene når de forteller hva som gjør dem trygge eller utrygge i møte med KI i helsevesenet.

Treffsikker KI er nødvendig, og et godt sted å begynne. Det er ikke et godt sted å stoppe.

Forfatterne Øystein Dunker og Kristian Bernhard Nilsen oppgir ingen interessekonflikter.