Twitch Academy – Att tolka och granska vetenskapliga studier

För att verkligen förstå och kunna bedöma innehåll i en artikel krävs kritiskt tänkande, viss grundläggande kunskap om tolkning av studier och begrepp inom forskning. För att öka kunskap presenterar vi här en artikel om att tolka vetenskapliga studier. Till hjälp finns även vår ”Begreppslista hälsa och forskning” som ger förklaring på de termer som används i texten nedan. Läs mer.

Vi kan redan nu varna om att läsningen är relativt torr, ibland kruttorr, precis som vetenskapen. Det roliga ligger dock i att du framöver enklare kommer att kunna ifrågasätta det du läser.

Kritiskt granskande

För att kunna ta beslut baserade på vetenskaplig evidens inom t.ex. medicin och folkhälsa samt att vara uppdaterad med den senaste vetskapen inom ett ämne krävs att man kan kritiskt läsa och granska vetenskaplig litteratur som ofta presenteras i form av studier (1).  För att kritiskt kunna tolka resultat från och dra ”korrekta” slutsatser utifrån studiers resultat krävs att man förstår studiedesign, forskningsmetodik samt vissa statistiska begrepp. Tyvärr tolkas ofta resultat från studier av personer som saknar statistisk kunskap vilket ofta leder till att t.ex. associationer mellan två variabler likställs med kausalitet. Eftersom det är lättare att få studier med signifikanta resultat publicerade har ordet signifikant ”urvattnats” (2); vad betyder detta uttryck egentligen, är statistiskt signifikant det samma som kliniskt relevant? I denna artikel presenteras grundläggande information angående studiedesign samt hur man kritiskt granskar en vetenskaplig studie; kunskap som är nödvändig för att dra valida slutsatser utifrån de resultat som presenteras i en studie.

Varför krävs statistik?

För att vara helt säker på t.ex. förekomsten av en viss sjukdom i en population måste du verkligen undersöka/testa hela populationen. Något som kan bli ohanterligt om det gäller stora populationer, så som hela Sveriges befolkning. Med hjälp av statistiska metoder samt analyser av dessa metoder kan man använda sig av mindre populationer för att göra generella antaganden om en större population. Som konsekvens av detta kan man via statistiska metoder endast dra slutsatser baserade på sannolikheter. Således presenterar studier resultat som med en viss procents säkerhet stämmer överens med en större population (den population man egentligen är intresserad av att studera effekter inom). I artikeln ”Begrepp och Definitioner” (länk) beskrivs några av de mest frekvent förekommande statistiska begreppen som är nödvändiga att förstå för att kunna utvärdera/tolka statistik som presenteras i studier.

Olika typer av studier (3)

All medicinsk forskning delas in i primär eller sekundär forskning där sekundär forskning sammanställer resultat från tidigare forskning och primär forskning är där själva studierna utförs. Forskning brukar delas in i tre huvudtyper:

  • Grundforskning (försök i laboratoriemiljö)
  • Klinisk forskning (kliniska försök på sjukhus)
  • Epidemiologisk forskning (forskning i större populationer)

Primär forskning:

Grundforskning

Kallas ofta experimentell forskning och inkluderar djurförsök, försök med cell-linjer mm. Ofta varierar man en variabel (t.ex. dos av läkemedel till djurart) och undersöker effekter på ett visst utfall. Ofta är försöken väl kontrollerade med hög intern validitet och kan upprepas med samma resultat från gång till gång. Det är ett större problem med extern validitet. Resultat från försök i laboratoriemiljö i t.ex. mänskliga celler kan inte direkt överföras till människa. Försök gjorda i dessa studier påvisar ofta kausalitet då många variabler kan kontrolleras väl i laboratoriemiljö. De kausala sambanden man visar inom dessa studier kan sedan användas som tänkbara förklaringar till mekanismer bakom associationer vilka man ser i epidemiologiska observationsstudier.

Kliniska studier

Innefattar både experimentella studier samt observationsstudier. Kliniska studier utförs i klinisk miljö och innefattar t.ex. läkemedelsstudier samt test av kirurgisk utrustning mm. Dessa studier bör vara randomiserade, innehålla placebo-behandling och om möjligt även vara blindade. Kliniska studier är hårt styrda av etiska regler vilka måste tas hänsyn till och det är noga att studieprotokoll förs så att resultat från studien kan upprepas i en annan population. På grund av metodik och etiska aspekter som kommer med en klinisk studie anses en klinisk randomiserad studie vara ”gyllene-standard” när det gäller att visa kausalitet och effektivitet och används följaktligen inom utveckling av nya läkemedel. Vissa studier där man känner till ett ämnes toxicitet är etiskt olämpliga som randomiserade kliniska interventionsstudier. T.ex. skulle man idag inte kunna göra en randomiserad klinisk studie av effekter av rökning under graviditet för att man vet att det påverkar fostret negativt. Vill man studera effekter av just rökning under graviditet i människa får man således begränsa sig till epidemiologiska studier som beskrivs i följande avsnitt.

Epidemiologiska studier

Ordet epidemiologi härstammar från ordet Epidemi och avser läran om/vetskapen om sjukdomsars spridning/förekomst i samhället samt deras orsaksfaktorer. Många av de studier som publiceras inom området folkhälsa är epidemiologiska studier, således läggs i denna artikel ett stort fokus på dessa studier. Epidemiologiska undersökningar kan delas in i två typer:

  • Undersökningar där man vill bestämma förekomsten av en sjukdom i en population.
  • Undersökningar där man vill bestämma associationer mellan exponering och förekomsten av sjukdom, t.ex. association mellan stillasittande och diabetes typ 2.

Epidemiologi innebär ofta studier på ”större” befolkningsgrupper för att detektera orsakssamband. Ofta vill man mäta effekter av riskfaktorer (t.ex. stillasittande) eller exponering (t.ex. passiv rökning) på ett visst utfall, t.ex. pankreascancer. Vanliga epidemiologiska studier är:

  • Kohortstudier
  • Fall-kontroll studier
  • Tvärsnittsstudier

Epidemiologiska studier kan även vara experimentella t.ex. interventionsstudier. Oavsett typ av epidemilogisk studie så kan dessa studier ”bara” visa grad av association, aldrig påvisa kausalitet!

Observationsstudier

Icke-experimentell epidemiologisk studie. Kan delas upp i följande:

Prospektiv studier (mätdata samlas in framåt i tiden)

Longitudinella studier:

Individen mäts upprepade gånger.

Kohortstudier:

En grupp individer följs över tid för att se om sjukdom utvecklas. Ofta följs flera grupper t.ex. exponerad grupp (snusare) och icke-exponerad grupp (ej-snusare) och jämförs.

Tvärsnittsstudier:

individen mäts bara en gång ”snap-shot” av verkligheten).

Ekologisk studie (typ av tvärsnitts-studie):

Även kallas korrelations-studie. Låg evidensgrad. Ofta undersöks befolkningsgrupper där man försöker hitta korrelation mellan utfall (t.ex. diabetes typ 2) och en livsstilsfaktor (t.ex. stillasittande).

Retrospektiva studier (historiska mätdata används)

Longitudinella studier:

Individen mäts upprepade gånger.

Fall-kohortstudier:

En grupp individer med sjukdom identifieras och deras exponering jämförs med lämpligt vald kontrollgrupp. Man letar efter samband mellan exponering och sjukdom.

Tvärsnittsstudier: Individen mäts bara en gång (”snap-shot” av verkligheten)

Ekologisk studie (typ av tvärsnitts-studie):

Även kallas korrelations-studie. Låg evidensgrad. Ofta undersöks befolkningsgrupper där man försöker hitta korrelation mellan utfall (t.ex. diabetes typ 2) och en livsstilsfaktor (t.ex. stillasittande).

För respektive nackdelar med observationsstudier

[table id=1 /]

Experimentella studier

Är av naturen alltid prospektiva och longitudinella. Man studerar ofta effekten av en behandlingsfaktor mellan en grupp som fått behandling och en kontrollgrupp.

Intervention i en grupp utan randomisering:

Kan användas då patientantalet är lågt och man ej kan ha en randomiserad kontrollgrupp.

Intervention i två grupper utan randomisering:

Man vill jämföra effekt av en intervention. En grupp får intervention och en grupp får standard-behandling. Lägre bevisgrad än randomiserad klinisk prövning.

Randomiserad klinisk prövning (RCT, Randomized Controlled Trial):

Individer randomiseras (väljs slumpmässigt, t.ex. singla slant mm.) till olika grupper för att sedan jämföra effekt av intervention vs. Ingen intervention.

Sekundär forskning:

Review

En eller flera författare sammanställer data/resultat från artiklar och ger sin syn på ett område/fenomen. En review behöver inte vara heltäckande och författarna väljer själva vilka artiklar de vill inkludera i sin review. Dessa artiklar är bra om man snabbt vill bli insatt i ett ämne men man bör tänka på att författarna kan ha ett visst ”bias” då de skrivit artikeln.

Meta-analys

Är en kombination av studier inom samma ämne som ska vara objektiv. Data från undersökningar inom samma område bearbetas. Genom att jämföra resultat från flera studier med hjälp av statistiska metoder kan man bedöma om det finns konsensus inom ett forskningsområde samt om vissa studier av ren slup fått positiva/negativa resultat. De enskilda studiernas design samt storlek (deltagarantal) vägs in i en slutgiltig bedömning. En väl genomförd meta-analys som använt sig av flera välkontrollerade randomiserade kliniska studier har hög evidensgrad. Ett problem är att det inom forskarvärlden sällan publiceras studier utan resultat/negativa resultat vilken kan göra att en meta-analys ger en snedvriden bild av verkligheten. Viktiga steg i en meta-analys är följande:

·         Identifiera relevanta studier

·         Utesluta dåligt utförda studier med brister i studiedesign mm

·         Slå ihop resultat från relevanta studier, kvantifiera samt tolka resultat

Klassificering av olika studietyper

 

Tabell 2. Klassificering av olika studietyper.

Studie-hierarki samt evidensgrad hos olika studietyper

En väl utförd randomiserad klinisk studie (RCT) kan påvisa kausalitet och anses ha högre evidensgrad än en tvärsnitts-studie där endast associationer kan påvisas. Man bör dock vara uppmärksam på studiens kvalitet, bara för att det är en RCT betyder inte per automatik att studien är tillräckligt väl utförd för att kunna dra slutsatser om kausala samband.

 

Figur 1. Studie-hierarki där studier med högst evidensgrad är i toppen av pyramiden, därefter fallande evidensgrad.

 

Vilken studiedesign bör användas för att detektera ett visst utfall?

I tabell 3 presenteras en överskikt som kan vara till användning för att se vilka utfall en viss studiedesign kan detektera.

Syfte med studien Typ av studie
Studera ovanliga sjukdomar (t.ex. cancer) Fall-kontroll studie
Studera ovanlig exponering (t.ex. asbest) Kohortstudie
Studera flera utfall Kohortstudie
Uppskatta incidens hos exponerade individer Kohortstudie
Studera effekt av intervention Interventions-studie
Påvisa effekt av läkemedel Klinisk randomiserad studie
Påvisa kausalitet vid ”oetisk intervention” Prospektiv kohortstudie med flera mätpunkter
Testa toxicitet hos ett ämne Studie på möss/cellinjer

Tabell 3. Val av studiedesign beroende av frågeställning.

 

Tolka resultat från studier, kritisk läsning (4)

Det publiceras idag en stor mängd studier och det är svårt att hålla sig à jour med all ny tillgänglig information. Det är av yttersta vikt att kunna söka efter, sortera, tolka samt värdera information. Det är viktigt att förstå hur man värdesätter och tolkar resultat från olika studier för att skaffa sig en ”verklig” bild av vetenskapens synsätt inom ett visst område.

Nästintill alla studier som publiceras i vetenskapliga tidskrifter inom medicin/hälsa/naturvetenskap följer samma struktur, dvs. de är uppbyggda på samma sätt. Lär man sig bakgrunden till uppbyggnaden är det lätt att extrahera relevant information från en studie. Strukturen alla studier följer är kallad IMRAD, vilket står för:

Introduction

Introducera läsaren till ämnet, ”research space” vad saknas i litteraturen, syfte med studien.

Methods

Vilka metoder används vid statistik, hur har datainsamlingen skett, vilka är studieobjekten mm.

Results

Resultat presenteras, ofta i text samt tabellform.

And

Discussion

Diskutera resultat utifrån tidigare studier, nackdelar/fördelar med genomförd studie, riktlinjer för framtida forskning samt slutsatser baserade på studiens resultat.

Alla artiklar har även ett abstract som presenteras först i studien. Detta är en sammanfattning av hela studien och är oftast 200-300 ord samt följer IMRAD-struktur. Abstract är det som visas vid sökning i diverse forskningsdatabaser som ”PubMed” m.fl. För att läsa fullständiga artiklar krävs oftast behörighet från universitet/högskola eller dylikt om artikeln ej är gratis via s.k. ”open access”.

De flesta epidemiologiska forskningsrapporter kan delas in i följande kategorier:

·         Beskriver spridning/förekomst av en sjukdom (ekologisk studie)

·         Orsaker till sjukdom (kohort studie, fall-kontroll studie, tvärsnittsstudie)

·         Experimentell studie (interventionsstudie, randomiserad klinisk studie)

Evidensgraden hos en studie är starkt kopplad till dess design (se Figur 1) och påverkar vilka tolkningar man kan göra av studies resultat. När man läser en studie kan det vara bra att utgå från följande frågor:

Vad är frågeställningen i studien?

·         Vilket syfte har studien? Vad vill forskarna besvara/undersöka? Detta hittar man i slutet av sektionen ”Introduktion” där det brukar stå: ”The aim of the study is to…”

·         Vad är det för typ av studie?

·         Vilka slutsatser kan man dra med gällande studiedesign?

·         Tvärsnittsstudie – Sjukdomsfrekvens eller riskfaktorer

·         Kohortstudie – Undersöker samband mellan tex exponering och sjukdom (kan ej fastställa kausalitet till fullo)

·         Fall-kontroll studie – Identifiera möjliga kausala faktorer

·         Randomiserade kontrollerade studier – Utvärdera effekt av behandling, kan påvisa kausalitet

Vilken är studiepopulationen?

·         Vilka ingår och vilka är utelämnade?

·         Representerar studiepopulationen den population man vill uttala sig om

·         Hur har urvalets gjorts? Bias?

·         Systematiskt eller slumpmässigt urval av studieobjekten?

·         Vilka felkällor finns i urvalet av studiepopulationen?

·         Är urvalet tillräckligt stort för att besvara den fråga studien vill besvara? D.v.s. Finns tillräcklig statistisk ”power”?

Experimentella studier: är metoderna väl dokumenterade?

·         Slumpmässig randomisering till behandling/kontroll?

·         Vilka kontrollgrupper finns? Placebo, obehandlad kontrollgrupp, annan?

·         Hur jämfördes behandlingarna?

·         Är hypotesen tydligt presenterad?

·         Är de statistiska metoderna tillräckliga och väl presenterade?

·         Mättes utfall/effekter på ett objektivt sätt

För observationsstudier: är metoderna väl dokumenterade?

·         Var datainsamlingen korrekt utförd? Objektiva eller subjektiva mätmetoder?

·         Hur hanterades ”missing-data”?

·         Vid kohortstudier, hur var uppföljningsfrekvensen?

·         Vid fall-kontroll studie, var kontrollerna relevanta och matchade?

·         Hur presenteras informationen?

·         Finns det tydliga tabeller/diagram?

·         Redogörs data för hela studiepopulationen?

·         Presenteras varians, standardavvikelse, extremvärden?

Tolka och utvärdera studieresultaten

Experimentell studie:

·         Försöker författarna hitta en skillnad mellan kontroll- och behandlings-grupp?

·         Om författarna hittar en skillnad, beror den på slumpen eller bias?

·         Om det finns en statistiskt signifikant skillnad; är den även kliniskt signifikant?

Observationsstudie:

·         Hur är medelvärden i kontrollgrupp, har författarna valt en representativ kontrollgrupp?

·         Försöker författarna hitta skillnader mellan exponerad och icke-exponerad grupp eller mellan fall och kontroller?

·         Finns det en skillnad mellan grupperna som inte beror på bias, confounding?

·         Är den statistiska skillnaden även av betydelse på folkhälsonivå/samhällsnivå?

Slutgiltig kontroll av studie:

·         Var forskningshypotesen värd att undersöka och vad blir konsekvenserna av resultaten?

·         Ger studien förslag på åtgärder utifrån resultaten som presenteras?

·         Har påståenden och numerisk data i text valida referenser?

·         Hur kunde studiedesignen förbättras?

·         Saknas information för att kunna dra slutsatser från denna studie?

·         Hur har författarna tolkat sina resultat utifrån tidigare studier?

·         Beskriver författarna ”limitations” av studien väl, hur presenteras icke-signifikanta fynd?

·         Är alla signifikanta fynd underbyggda med etablerad biologisk/medicinsk förklaringsmekanism?

Referenser, intressekonflikter

Har alla påståenden, data från andra studier mm. valida referenser?

Är studierna som det refereras till av värde, vilken typ av studier är det, publicerade i väl ansedd tidskrift (hitta info om tidskrifters kvalitet (”impact factor”http://www.impactfactorsearch.com).

Presenteras eventuella intressekonflikter (”Conflict of interest”) tydligt?

Är studien sponsrad/bekostad av företag/organisation med intresse av utfallet av studien?

Har författarna något känt bias, t.ex. styrelseledamot i företag med intresse av studiens utfall.

Kritiskt tänkande vid analys av studier (5)

Tabell 4 tar upp några av de viktigaste frågorna man bör ställa sig då man kritiskt granskar en studie.

Att granska en studie: kritiska frågor

Har studien en intressant frågeställning?
Har påståenden och numerisk data i text valida referenser?
Är studien nyskapande, ger den ytterligare information till ämnet?
Är studien designad för att kunna besvara de definierade målen (”aims”)?
Framgår det om studien är deskriptiv, förklarande, påvisar kausalitet eller associationer?
Är studiens utfall (”end-points”) väl definierade?
Är insamlad data objektiv (uppmätt data) eller subjektiv (t.ex. enkäter)?
Rapporteras ”missing-data” korrekt? För mycket ”missing-data”, varför?
Hur hanteras confounding, bias?
Är antalet individer tillräckligt stort (power) för att besvara frågeställningen?
Baseras författarnas slutsatser på resultaten från studien?
Är studien finansierad av någon med intresse av vissa resultat?

Tabell 4. Kritiska frågor att använda vid utvärdering av studie.

Check-lista för att utvärdera kvaliteten av vetenskapliga studier

Tabell 5 kan användas som en mall för att kontrollera om en studie håller hög kvalitet, dvs. om studien tar upp både styrkor och svagheter och data presenteras objektivt och begripligt. Ytterligare viktiga aspekter som studiedesign, syfte, bias mm. behandlas i denna check-lista.

Kategori

JA

Oklart

Nej

Design

Är studiedesign väl beskriven?
Är syftet med studien väl beskrivet?
Är utfallet i studien väl beskrivet?
Är studiepopulation väl beskriven?
Är inkluderings- samt exkluderings-kriterier väl beskrivna?
Vid intervention: slumpmässig randomisering?
Är statistisk styrka nog för att detektera skillnader i utfall?
Subjektiv eller objektiv mätning, tydligt beskrivet?
Finns information om ”missing-data”?

Studieutförande

Är intervention- och kontroll-grupp matchade (ålder, kön mm.)?
Är ”drop-outs” separat analyserade?
Är antalet som fullföljer studien beskrivet?
Är inkluderingsprocessen av individer till studien beskrivet?

Analys och Utvärdering

Är val av statistiska metoder väl beskrivna?
Används rätt statistiska metoder för givet utfall?
Beskrivs statistik väl, tabeller, figurer mm.?
Är det tydligt varför denna studiedesign är vald?
Presenteras både p-värden samt konfidensintervall?
Presenteras även icke-signifikanta fynd?
Diskuteras det kring klinisk-signifikans av fynden?
Presenteras inte bara relativa mått utan även absoluta mått?
Diskuterar författarna eventuella confounders samt bias?
Är slutsatsen baserad på resultat presenterade i resultatdelen?

Tabell 5. Check-lista för att utvärdera kvaliteten av en studie.

Verktyg för att värdera kvantitativa studier inom folkhälsa

Tabell 6 är en check-lista vilken kan användas för att fastställa evidensgrad hos studier inom området folkhälsa. Att ge en studie en viss evidensgrad är av vikt då man vill göra en review/litteraturöversikt inom ett område för att undersöka vad vetenskapen säger om ett område/ämne. Med hjälp av en kvalitativ värdering av studier kan man jämföra studier med olika studiedesign, deltagarantal mm. med varandra. Studier med stark evidens ges högre vikt vid en jämförelse jämfört med studier med medel eller låg evidens.

Komponenter

Stark evidens

Medel evidens

Svag evidens

Selektions bias >80 % deltagarfrekvens 60-79 % deltagarafrekvens All annan svarsfrekvens eller ej rapporterat
Design RCT, klinisk kontrollerad studie Longitudinell kohortstudie, kohortstudie, fall-kontroll-studie All annan design, t.ex. tvärsnitts-studie
Confounders Kontrollera för > 80 % av confounders Kontrollera för 60 – 79 % av confounders Ingen eller undermålig kontroll av confounders
Blindning Blindning för alla involverade i studien, behandlare, patient, samt vid analys Blindning endast hos patient eller behandlare (om design tillåter blindning) Ingen information om blindning
Data insamling Väl beskrivet och god validitet och reliabilitet Valida instrument med ingen beskrivning av reliabilitet Ingen information om validitet eller reliabilitet
Bortfall Follow-up på > 80 % av deltagare Follow-up på 60-79 % av deltagare Follow-up på < 60 % av deltagare eller undermålig beskrivning

Tabell 6. Check-lista för kvalitativ bedömning av studier inom folkhälsa (6).

Sammanfattning

En av de viktigaste aspekterna vid kritiskt granskande av en studie är om författarnas slutsatser verkligen grundar sig på de presenterade resultaten. Nästa viktiga aspekt är om studien är designad för att besvara forskarnas hypotes. Börja alltid granskande av en studie med att fastställa studiedesign samt vilka slutsatser man kan dra via denna design. T.ex. kan man från en tvärsnittsstudie inte dra kausala slutsatser, endast associationer kan detekteras här. Rent krasst krävs det en väldesignad klinisk randomiserad studie för att påvisa kausala samband.  Att fastställa vilken studiedesign författarna använt sig av är ett bra sätt att förstå vilken typ av slutsatser man kan dra av studien. Ytterligare aspekter man bör titta extra noga på vid analys av en studie är insamling av data; objektiv eller subjektiv data, är utfallet tydligt definierat, har studien tillräcklig ”power”, vilken bias/”confounding” finns, hur behandlas ”missing-data”? Slutligen är det viktigt att kritiskt granska alla referenser studien använder sig av samt att se över om studien är finansierad av företag/organisationer med intresse av studiens utfall.

 

Referenser

1.                         Sackett DL, Rosenberg WM, Gray JA, Haynes RB, Richardson WS. Evidence based medicine: what it is and what it isn’t. Bmj. 1996;312(7023):71-2.

2.                         Gluud LL. Bias in clinical intervention research. American journal of epidemiology. 2006;163(6):493-501.

3.                         R Bonita BB, T Kjellström. Basic Epidemiology: Wold Health Organization 2010; 2010.

4.                         Rothman K. Epidemiology, An Introduction. Oxford University Press: Oxford University Press, inc; 2002.

5.                         Du Prel JB, Rohrig B, Blettner M. Critical appraisal of scientific articles: part 1 of a series on evaluation of scientific publications. Deutsches Arzteblatt international. 2009;106(7):100-5.

6.                         Cancelliere C, Cassidy JD, Ammendolia C, Cote P. Are workplace health promotion programs effective at improving presenteeism in workers? A systematic review and best evidence synthesis of the literature. BMC public health. 2011;11:395.

    Vill du ha mer info?