– Internt har vi mange diskusjoner om hvor strenge vi skal være

Lege Helen Brandstorp mener Kunnskapssenteret har for strenge kriterier for metodikken ved systematiske kunnskapsoppsummeringer og etterlyser nye måter å tenke på og metoder som i større grad også omfatter blant annet kvalitativ forskning og rapporter.
– De bør fortsette – kanskje med et høyere tempo – og utvide bruken av og sammenstillingen av kunnskap, og de bør lage andre typer kunnskapsoversikter, uttaler Brandstorp til Dagens Medisin.

Også lege Kirsti Malterud mener at "Kunnskapssenteret burde hatt et bredere metoderepertoar og en større verktøykasse når de legger så mye ressurser og prestisje i arbeidet".

Les saken: Ber Kunnskapssenteret jobbe annerledes

Blir diskutert
Ifølge fungerende avdelingsdirektør Signe Flottorp i Folkehelseinstituttets avdeling for kunnskapsoppsummering (tidligere Kunnskapssenteret), er dette problemstillinger som blir diskutert.

– Internt har vi mange diskusjoner om hvor strenge vi skal være. I økende grad, særlig hvor bestillingene er vide og hvor arbeidet kan bli omfattende, gjør vi litteratursøk med sortering, og formidler relevante studier og systematiske oversikter. Ser vi at andre har laget en systematisk oversikt, omtaler vi denne. Da bruker vi bare få dager på dette, sier Flottorp.

En myte
Hun understreker at det ikke er riktig at det bare er randomiserte kontrollerte studier som inkluderes.
– Når vi skal utarbeide en systematisk oversikt lager vi først en prosjektplan med et klart formulert spørsmål og klare kriterier for hva slags typer studier vi skal inkludere. Ekspertene gir innspill til prosjektplanen. Hva slags studier vi inkluderer, er avhengig av hva slags spørsmål vi skal besvare. Oftest får vi spørsmål om effekt av tiltak. Da kan vi inkludere ulike typer studier som har et sammenlikningsgrunnlag, forteller Flottorp og legger til:
– Hvis vi er «mindre kresne» og inkluderer studier med svakere studiedesign, kan vi risikere at resultatet ikke blir til å stole på.Arbeidet blir dessuten enda mer omfattende, fordi litteratursøket vil omfatte langt flere studier.
Spørsmål om effekt
Det meste av forsknineng som oppsummeres skal gi svar på effekt, om noe virker.

– Slike spørsmål kan ikke kvalitative studier eller ukontrollerte før- og etter-studier gi pålitelige svar på, og slike studier er det helt uaktuelt å ta med. Vi ser helt klart at andre metoder og kunnskapsoppsummering kan være nyttig. Men de fleste bestillingene vi får er om noe virker, og her er det ikke snakk om å bruke studier som er utført slik at vi ikke har tillit til resultatet. I metodevurderingene – HTA-rapportene – inkluderer vi for øvrig også kapitler om etiske, juridiske, organisatoriske eller økonomiske konsekvenser av innføring av tiltak.

Internasjonalt
– Hvis dere hadde tatt med kvalitative studier og hadde utfylt konklusjonene med hva andre typer kunnskapskilder sier, ville dere ha imøtegått kritikken fra Brandstorp og Malterud?

– Det ville blitt enda mer arbeid, ikke noe billigere og det ville ikke gitt oss et bedre svar på spørsmål om effekt. For eksempel ved spørsmålet om effekt av triage i prehospitale tjenester, kunne vi innhentet informasjon om hvilke systemer ulike land har innført, hvilke erfaringer de har osv., men dokumentasjon på hva som er effekten av triage og hvilket triagesystem som er best, ville vi likevel ikke hatt. I innledningskapittelet og i diskusjonen skriver vi også litt bredere rundt problemstillingen, men jeg tror ikke det er klokt at systematiske oversikter på for eksempel triage skal omfatte «alt vi vet og alt noen eksperter mener om triage», svarer Flottorp.
Evidensbasert medisin
– Er dere i Kunnskapssenteret og Brandstorp og Malterud grunnleggende uenige om nytten av evidensbasert medisin?

– Nei, jeg tror egentlig ikke det. Jeg tror det er en del misforståelser, og kanskje mangelfull kunnskap om hvordan vi arbeider. Hvilke andre kriterier vi må ta hensyn til, er noe vi jobber mye med, og hvor vi også er med i internasjonalt utviklingsarbeid blant annet med WHO og med andre HTA-organisasjoner. Vi jobber også med å involvere pasienter i beslutninger. Veldig ofte viser forskningen at tiltak kan lede til både nytte og skade, og da bør pasientene få mulighet til å ta stilling og veie fordeler og ulemper mot hverandre, på grunnlag av hva som er viktigst for den enkelte. Forskningen alene gir aldri tilstrekkelig grunnlag for å ta gode beslutninger.

Kvalitetskrav
Kirsti Malterud er førsteforfatter av en studie som viser at bare én av de 14 kunnskapsoversiktene fra Kunnskapssenteret i 2012 kunne konkludere. Artikkelforfatterne har flere kritiske bemerkninger til måten Kunnskapssenteret jobber med systematiske oversikter.

– Brandstorp viser til metoden Realist Review som også tar med kvalitativ forskning og rapporterr. Bør dere skjele mer til hva de gjør i utlandet?

– Vi følger godt med internasjonalt og er godt kjent med blant annet metodikken Realist Review, som ikke er noen kjempesuksess noen steder, svarer Flottorp.

– Brandstrup mener også at forskning på, i og fra kommunene fordrer en annen metodikk. Er du enig i det?

– Jeg ser ikke hvorfor kvalitetskravene skal senkes ved oppsummering av forskning i og på kommunene. Her handler det snarere om at det er nødvendig å gjøre mye mer forskning.

Ressurser
Nylig konkluderte Kunnskapssenteres rapport om stamcellebehandling ved MS med at det ikke er nok dokumentasjon til at det kan sies noe sikkert om effekten.

– Denne oversikten førte til at det nå blir igangsatt en studie. Vi anser det som et viktig arbeid – at vi kan peke på områder hvor det er viktig å forske mer. Forskningsrådet er også opptatt av at nye studier som settes i gang skal være basert på systematisk oversikt.
– I forhold til midlene som brukes på tiltak som er ineffektive eller kanskje skadelige, tenker vi at det å bruke noe ressurser på å lete etter og oppsummere eksisterende forskning på området, er en relativt liten kostnad.
Nyttig
Ifølge Flottorp har forskere ved Kunnskapssenteret gjort mye arbeid som er ledende internasjonalt når det gjelder metoder for å utarbeide systematiske oversikter og metodevurderinger.

– Blant annet leder vi GRADE-CERQual, som utvikler metoder for å vurdere tilliten til oversikter over kvalitative studier.
Flottorp mener det er nyttig å få vite at det ikke finnes god forskning på et område, at de ikke har god forskning å lene oss til.

– Kritikken i Malteruds studie til vår bruk av GRADE, som graderer tilliten til resultatene, forstår vi ikke. Mener forfatterne at vi skal underslå at resultatene er usikre? Vi tenker det er ærlig, viktig og riktig å fortelle at forskningsresultatene kan være usikre, men vi ser at det er vanskelig å kommunisere dette.