Studie: Kunstig intelligens-robot ga bedre svar enn leger

Studien finner at svarene fra kunstig intelligens-roboten ChatGTP holdt høyere kvalitet og var mer empatiske enn legers svar til samme spørsmål. Totalt inngikk 195 tilfeldig valgte spørsmål i undersøkelsen.

Spørsmålene er opprinnelig stilt anonymt i det åpne forumet r/AskDocs på nettstedet Reddit, og er besvart av helsepersonell. Forumet har i underkant av en halv million medlemmer. Alle medlemmene kan stille spørsmål, spørsmålene besvares på frivillig basis av autorisert helsepersonell.

Studien ble nylig publisert i Jama Internal Medicine, og er først omtalt av svenske Dagens Medicin.

Svarene evaluert av helsepersonell

Les også:

Kunstig intelligens kan forutsi hvilke pasienter som vil avbryte nettbasert behandling

Spørsmålene ble stilt til ChatGPT i desember 2022. Hvert spørsmål ble stilt i en ny sesjon, uten andre spørsmål stilt i forkant.

Spørsmål og svar ble evaluert, blindt og i tilfeldig rekkefølge, av tre yrkesaktive personer innen helsevesenet. Svarene ble rangert på en skala fra én til fem, basert på kvalitet og empati.

For kvalitet oppnådde roboten kategoriene «bra» eller «veldig bra» i 78,5 prosent av tilfellene, sammenlignet med 22,1 prosent hos legene.

Når det gjaldt empati var tallene henholdsvis 45,1 prosent sammenlignet med 4,6 prosent.

Helsepersonell som bedømte svarene, foretrakk robotens svar i fire av fem tilfeller.

Klare begrensninger

Studieforfatterne trekker selv frem at studien har flere begrensninger. Blant annet at bruken av spørsmål og svar var fra nettforumet, som ikke gjenspeiler interaksjonen mellom pasient og lege.

Det trekkes også frem at robotens svar kan fremstå mer empatiske fordi de i gjennomsnitt er fire ganger lengre enn legenes svar.

Forfatterne skriver også at skalaen som svarene ble bedømt etter, ikke er pilottestet eller validert på annen måte.

Aktuelt:

Vil bruke kunstig intelligens for å screene for demens