Tillit til KI er et arkitekturkrav, ikke bare opplæring

Dette er skribentens egne meninger og representerer ikke hans arbeidsgiver.

Innlegget «KI i helsevesenet: Treffsikkerhet er ikke nok» publisert den 08. juni i Dagens Medisin og skrevet av Øystein Dunker og Kristian Bernhard Nilsen treffer noe viktig. Tillit handler om mer enn presisjon, det er jeg helt enig i. Men som IT-arkitekt med bakgrunn fra digitaliseringsprosjekter i offentlig sektor mener jeg forfatterne stopper ett steg for tidlig. Kompetanse, ansvar og en vei videre for pasienten er ikke noe man kan lære eller vedta seg til etterpå. Etter min erfaring må det bygges inn i systemet før det i det hele tatt tas i bruk.

Dette er ikke bare en oppfordring fra meg. Det er allerede lov. EU sin KI-forordning krever i artikkel 14 at helsepersonell som overvåker et KI-system skal kunne forstå det, oppdage feil, overstyre anbefalingen, og stoppe systemet trygt hvis noe går galt. Det er krav til grensesnitt og loggføring, ikke bare til opplæringsplaner. Et system som ikke lar legen se hvilke data en anbefaling bygger på, oppfyller ikke kravet. Uansett hvor treffsikkert det måler seg til å være.

Helsedirektoratets egen KI-plan for helse- og omsorgstjenesten sier i grunnen det samme: KI skal være sporbart og stå under menneskelig kontroll. Rammeverket finnes altså. Problemet, slik jeg har sett det gjentatt seg i flere IT-prosjekter, er at slike prinsipper sjelden når fram til kravspesifikasjonen når systemet faktisk skal kjøpes inn. Der forsvinner de, mellom strategidokument og innkjøpsavdeling.

Jeg mener konsekvensen av å utsette sporbarhet allerede er synlig i offentlig sektor. Riksrevisjonen slo nylig fast at Nav mangler tilstrekkelig logging og tilgangskontroll i egne systemer, i et omfang som gjør revisor ikke lenger kan etterprøve regnskapet. Det er ikke et KI-eksemplet. Men det viser hva som skjer når sporbarhet blir noe man rydder opp i senere, ikke noe man krever fra første anbud. I helsevesenet er innsatsen høyere enn kroner og øre. Der er den pasientsikkerhet, og til syvende og sist liv.

Derfor foreslår jeg at løsningen ligger et steg før opplæring og ansvarsavklaring, nemlig i kravspesifikasjonen selv. Når et sykehus lyser ut anskaffelse av et KI-basert beslutningsstøttesystem, bør sporbarhet, overstyringsfunksjon og en reell stoppknapp være ufravikelige krav i konkurransegrunnlaget, ikke noe leverandøren tilbyr som et tillegg mot ekstra betaling, anbefaler jeg.

Da blir tillit noe system er bygget for å fortjene fra dag en, ikke noe helsepersonell må skape i etterkant av en beslutning de aldri fikk mulighet til å etterprøve fullt ut.