Den etiske alternativkostnaden ved KI-basert journalføring

Språkmodell-baserte, tale-til-notat teknologier (TTN) er et eksempel på teknologi som skal effektivisere den kliniske hverdagen. Dette KI-systemet gjør opptak av konsultasjonen, transkriberer og trekker ut essensen i en mer kortfattet oppsummering som kan sjekkes, revideres og journalføres. Teknologien anvendes allerede i både fastlege- og spesialisthelsetjenesten, og utrulling på landsbasis i psykisk helsevern alene anslås å frigjøre tid tilsvarende mellom 243 og 1 427 årsverk. 

Dette lover godt. Men er TTN virkelig en så etisk lavrisiko-teknologi som stortingsmeldingen kan gi inntrykk av?

Etiske utfordringer

I Dagens Medisin har bidragsytere diskutert etiske utfordringer med innføring av TTN, viktigheten av at teknologien oppfyller regulatoriske krav for CE-merking og behovet for åpenhet om hvilken språkmodell og hva slags treningsdata som inngår i teknologien.

Andre har argumentert for at det å ikke ta denne teknologien i bruk vil være uetisk, gitt behovet for pasientsikkerhet og effektivisering helsetjenesten står overfor.

Intervjuer med KI-utviklere, klinikere og pasienter gjennomført av Stanford Health Care om innføring av KI-basert journalopptak gir oss mer informasjon om hvordan TTN setter etiske hensyn i spill. Her følger noen særlig tankevekkende punkter.

Mange bekymret seg for at teknologien går glipp av, eller gir feil beskrivelse av, viktig klinisk informasjon. Flere stilte spørsmål ved hvor godt og rettferdig teknologien kan klare å fange opp ulike uttrykksmåter hos pasienter med begrenset engelsk, aksent, talefeil, komplekse medisinske problemstillinger og innholdet i samtaler med mange stemmer når pårørende også deltar. 

Det profesjonelle ansvaret ble problematisert. Legene vil ikke kunne ta fullt ansvar for pasientbehandling basert på KI-genererte journaler hvis det ikke samtidig gis tilstrekkelig tid til gjennomgang. 

Informantene forutså også at klinikere vil variere i hvordan de balanserer ønsket om tidsbesparelse på den ene siden og behovet for korrekte notater på den andre, og advarte om at når klinikerne venner seg til TTN vil de også bli mindre opptatt av å lese og revidere notatet.

Mister ferdigheter

Samtidig fryktet man at klinikerne vil miste evnen til selv å trekke ut og syntetisere betydningsfull informasjon fra helsejournalene.  De blir «deskilled», det vil si at de mister en avgjørende ferdighet for å kunne utøve målrettet og god helsehjelp.

I en kommentarartikkel viser forfatterne til ulike funksjoner det å selv skrive notatene fra pasientmøtene har:

Egne notater kan for eksempel bidra til klinisk hukommelse rundt usikkerhet og tvil. Velformulerte, KI-genererte notater glatter ut usikkerhet og kan slik illudere feilaktig status på kunnskapen man har om caset.

Egenhendig notering fungerer også som et grunnlag for tillit: Pasienten og andre klinikere stoler på at den som signerer notatet også står fullt og helt inne for innholdet. Hvis dette ikke lenger gjelder, mister notatet sin status som en felles, menneskelig kunnskapskilde og blir i stedet et vedheng til KI-systemets kunnskapsstøtte. Dette blir særskilt problematisk når klinikeren kan holdes ansvarlig for et notat de verken har hatt nok KI-kompetanse til å forstå hvordan er utviklet, eller tid til å revidere grundig.

Forfatterne bak artikkelen om innføring av TTN ved Stanford Health Care konkluderer med at de rapporterte etiske problemene ikke er alvorlige nok til at de bør hindre at KI-teknologien blir innført.

Dette reiser et spørsmål som er like relevant å stille i vårt eget helsesystem: Hvilke etiske konsekvenser av et effektiviserende KI-system er skadelig nok til å utelukke bruk i praksisfeltet? 

Jeg vil trekke frem «deskilling»-problemet over som et eksempel på at TTN involverer høy risiko for å skade: Hvis TTN undergraver klinikerens trening i selv å skille relevant fra ubetydelig informasjon om pasienten, svekkes ikke bare en avgjørende evne for å kontrollere TTH-notatene. Da undergraves også muligheten for menneskelig kontroll over helsehjelpen.

Etisk alternativkostnad

Jeg foreslår at i tillegg til åpenhet om KI-systemer og CE merking, bør det for hvert KI-system man ønsker å innføre utredes lokalt hva vi kan kalle «den etiske alternativkostnaden». Med dette mener jeg her et teoretisk anslag, informert av berørte parter, over hvilke eksisterende etiske hensyn som går tapt ved innføring av et nytt KI-system.  

Dette forslaget åpner opp for nyttige analyser, inkluderende kunnskapsutvikling og demokratisk debatt. Utredningene vil gi oss bedre grunnlag for å vurdere hvilke effektiviserende KI-systemer som bør innføres, og kan samtidig bidra til at fremtidens helsetjeneste møtes med tillit.