För att verkligen förstå och kunna bedöma innehåll i en artikel krävs kritiskt tänkande, viss grundläggande kunskap om tolkning av studier och begrepp inom forskning. För att öka kunskap presenterar vi här en artikel om att tolka vetenskapliga studier. Till hjälp finns även vår ”Begreppslista hälsa och forskning” som ger förklaring på de termer som används i texten nedan. Läs mer.
Vi kan redan nu varna om att läsningen är relativt torr, ibland kruttorr, precis som vetenskapen. Det roliga ligger dock i att du framöver enklare kommer att kunna ifrågasätta det du läser.
Kritiskt granskande
För att kunna ta beslut baserade på vetenskaplig evidens inom t.ex. medicin och folkhälsa samt att vara uppdaterad med den senaste vetskapen inom ett ämne krävs att man kan kritiskt läsa och granska vetenskaplig litteratur som ofta presenteras i form av studier (1). För att kritiskt kunna tolka resultat från och dra ”korrekta” slutsatser utifrån studiers resultat krävs att man förstår studiedesign, forskningsmetodik samt vissa statistiska begrepp. Tyvärr tolkas ofta resultat från studier av personer som saknar statistisk kunskap vilket ofta leder till att t.ex. associationer mellan två variabler likställs med kausalitet. Eftersom det är lättare att få studier med signifikanta resultat publicerade har ordet signifikant ”urvattnats” (2); vad betyder detta uttryck egentligen, är statistiskt signifikant det samma som kliniskt relevant? I denna artikel presenteras grundläggande information angående studiedesign samt hur man kritiskt granskar en vetenskaplig studie; kunskap som är nödvändig för att dra valida slutsatser utifrån de resultat som presenteras i en studie.
Varför krävs statistik?
För att vara helt säker på t.ex. förekomsten av en viss sjukdom i en population måste du verkligen undersöka/testa hela populationen. Något som kan bli ohanterligt om det gäller stora populationer, så som hela Sveriges befolkning. Med hjälp av statistiska metoder samt analyser av dessa metoder kan man använda sig av mindre populationer för att göra generella antaganden om en större population. Som konsekvens av detta kan man via statistiska metoder endast dra slutsatser baserade på sannolikheter. Således presenterar studier resultat som med en viss procents säkerhet stämmer överens med en större population (den population man egentligen är intresserad av att studera effekter inom). I artikeln ”Begrepp och Definitioner” (länk) beskrivs några av de mest frekvent förekommande statistiska begreppen som är nödvändiga att förstå för att kunna utvärdera/tolka statistik som presenteras i studier.
Olika typer av studier (3)
All medicinsk forskning delas in i primär eller sekundär forskning där sekundär forskning sammanställer resultat från tidigare forskning och primär forskning är där själva studierna utförs. Forskning brukar delas in i tre huvudtyper:
- Grundforskning (försök i laboratoriemiljö)
- Klinisk forskning (kliniska försök på sjukhus)
- Epidemiologisk forskning (forskning i större populationer)
Primär forskning:
Grundforskning
Kallas ofta experimentell forskning och inkluderar djurförsök, försök med cell-linjer mm. Ofta varierar man en variabel (t.ex. dos av läkemedel till djurart) och undersöker effekter på ett visst utfall. Ofta är försöken väl kontrollerade med hög intern validitet och kan upprepas med samma resultat från gång till gång. Det är ett större problem med extern validitet. Resultat från försök i laboratoriemiljö i t.ex. mänskliga celler kan inte direkt överföras till människa. Försök gjorda i dessa studier påvisar ofta kausalitet då många variabler kan kontrolleras väl i laboratoriemiljö. De kausala sambanden man visar inom dessa studier kan sedan användas som tänkbara förklaringar till mekanismer bakom associationer vilka man ser i epidemiologiska observationsstudier.
Kliniska studier
Innefattar både experimentella studier samt observationsstudier. Kliniska studier utförs i klinisk miljö och innefattar t.ex. läkemedelsstudier samt test av kirurgisk utrustning mm. Dessa studier bör vara randomiserade, innehålla placebo-behandling och om möjligt även vara blindade. Kliniska studier är hårt styrda av etiska regler vilka måste tas hänsyn till och det är noga att studieprotokoll förs så att resultat från studien kan upprepas i en annan population. På grund av metodik och etiska aspekter som kommer med en klinisk studie anses en klinisk randomiserad studie vara ”gyllene-standard” när det gäller att visa kausalitet och effektivitet och används följaktligen inom utveckling av nya läkemedel. Vissa studier där man känner till ett ämnes toxicitet är etiskt olämpliga som randomiserade kliniska interventionsstudier. T.ex. skulle man idag inte kunna göra en randomiserad klinisk studie av effekter av rökning under graviditet för att man vet att det påverkar fostret negativt. Vill man studera effekter av just rökning under graviditet i människa får man således begränsa sig till epidemiologiska studier som beskrivs i följande avsnitt.
Epidemiologiska studier
Ordet epidemiologi härstammar från ordet Epidemi och avser läran om/vetskapen om sjukdomsars spridning/förekomst i samhället samt deras orsaksfaktorer. Många av de studier som publiceras inom området folkhälsa är epidemiologiska studier, således läggs i denna artikel ett stort fokus på dessa studier. Epidemiologiska undersökningar kan delas in i två typer:
- Undersökningar där man vill bestämma förekomsten av en sjukdom i en population.
- Undersökningar där man vill bestämma associationer mellan exponering och förekomsten av sjukdom, t.ex. association mellan stillasittande och diabetes typ 2.
Epidemiologi innebär ofta studier på ”större” befolkningsgrupper för att detektera orsakssamband. Ofta vill man mäta effekter av riskfaktorer (t.ex. stillasittande) eller exponering (t.ex. passiv rökning) på ett visst utfall, t.ex. pankreascancer. Vanliga epidemiologiska studier är:
- Kohortstudier
- Fall-kontroll studier
- Tvärsnittsstudier
Epidemiologiska studier kan även vara experimentella t.ex. interventionsstudier. Oavsett typ av epidemilogisk studie så kan dessa studier ”bara” visa grad av association, aldrig påvisa kausalitet!
Observationsstudier
Icke-experimentell epidemiologisk studie. Kan delas upp i följande:
Prospektiv studier (mätdata samlas in framåt i tiden)
Longitudinella studier:
Individen mäts upprepade gånger.
Kohortstudier:
En grupp individer följs över tid för att se om sjukdom utvecklas. Ofta följs flera grupper t.ex. exponerad grupp (snusare) och icke-exponerad grupp (ej-snusare) och jämförs.
Tvärsnittsstudier:
individen mäts bara en gång ”snap-shot” av verkligheten).
Ekologisk studie (typ av tvärsnitts-studie):
Även kallas korrelations-studie. Låg evidensgrad. Ofta undersöks befolkningsgrupper där man försöker hitta korrelation mellan utfall (t.ex. diabetes typ 2) och en livsstilsfaktor (t.ex. stillasittande).
Retrospektiva studier (historiska mätdata används)
Longitudinella studier:
Individen mäts upprepade gånger.
Fall-kohortstudier:
En grupp individer med sjukdom identifieras och deras exponering jämförs med lämpligt vald kontrollgrupp. Man letar efter samband mellan exponering och sjukdom.
Tvärsnittsstudier: Individen mäts bara en gång (”snap-shot” av verkligheten)
Ekologisk studie (typ av tvärsnitts-studie):
Även kallas korrelations-studie. Låg evidensgrad. Ofta undersöks befolkningsgrupper där man försöker hitta korrelation mellan utfall (t.ex. diabetes typ 2) och en livsstilsfaktor (t.ex. stillasittande).
För respektive nackdelar med observationsstudier
[table id=1 /]
Experimentella studier
Är av naturen alltid prospektiva och longitudinella. Man studerar ofta effekten av en behandlingsfaktor mellan en grupp som fått behandling och en kontrollgrupp.
Intervention i en grupp utan randomisering:
Kan användas då patientantalet är lågt och man ej kan ha en randomiserad kontrollgrupp.
Intervention i två grupper utan randomisering:
Man vill jämföra effekt av en intervention. En grupp får intervention och en grupp får standard-behandling. Lägre bevisgrad än randomiserad klinisk prövning.
Randomiserad klinisk prövning (RCT, Randomized Controlled Trial):
Individer randomiseras (väljs slumpmässigt, t.ex. singla slant mm.) till olika grupper för att sedan jämföra effekt av intervention vs. Ingen intervention.
Sekundär forskning:
Review
En eller flera författare sammanställer data/resultat från artiklar och ger sin syn på ett område/fenomen. En review behöver inte vara heltäckande och författarna väljer själva vilka artiklar de vill inkludera i sin review. Dessa artiklar är bra om man snabbt vill bli insatt i ett ämne men man bör tänka på att författarna kan ha ett visst ”bias” då de skrivit artikeln.
Meta-analys
Är en kombination av studier inom samma ämne som ska vara objektiv. Data från undersökningar inom samma område bearbetas. Genom att jämföra resultat från flera studier med hjälp av statistiska metoder kan man bedöma om det finns konsensus inom ett forskningsområde samt om vissa studier av ren slup fått positiva/negativa resultat. De enskilda studiernas design samt storlek (deltagarantal) vägs in i en slutgiltig bedömning. En väl genomförd meta-analys som använt sig av flera välkontrollerade randomiserade kliniska studier har hög evidensgrad. Ett problem är att det inom forskarvärlden sällan publiceras studier utan resultat/negativa resultat vilken kan göra att en meta-analys ger en snedvriden bild av verkligheten. Viktiga steg i en meta-analys är följande:
· Identifiera relevanta studier
· Utesluta dåligt utförda studier med brister i studiedesign mm
· Slå ihop resultat från relevanta studier, kvantifiera samt tolka resultat
Klassificering av olika studietyper
Tabell 2. Klassificering av olika studietyper.
Studie-hierarki samt evidensgrad hos olika studietyper
En väl utförd randomiserad klinisk studie (RCT) kan påvisa kausalitet och anses ha högre evidensgrad än en tvärsnitts-studie där endast associationer kan påvisas. Man bör dock vara uppmärksam på studiens kvalitet, bara för att det är en RCT betyder inte per automatik att studien är tillräckligt väl utförd för att kunna dra slutsatser om kausala samband.
Figur 1. Studie-hierarki där studier med högst evidensgrad är i toppen av pyramiden, därefter fallande evidensgrad.
Vilken studiedesign bör användas för att detektera ett visst utfall?
I tabell 3 presenteras en överskikt som kan vara till användning för att se vilka utfall en viss studiedesign kan detektera.
Syfte med studien | Typ av studie |
Studera ovanliga sjukdomar (t.ex. cancer) | Fall-kontroll studie |
Studera ovanlig exponering (t.ex. asbest) | Kohortstudie |
Studera flera utfall | Kohortstudie |
Uppskatta incidens hos exponerade individer | Kohortstudie |
Studera effekt av intervention | Interventions-studie |
Påvisa effekt av läkemedel | Klinisk randomiserad studie |
Påvisa kausalitet vid ”oetisk intervention” | Prospektiv kohortstudie med flera mätpunkter |
Testa toxicitet hos ett ämne | Studie på möss/cellinjer |
Tabell 3. Val av studiedesign beroende av frågeställning.
Tolka resultat från studier, kritisk läsning (4)
Det publiceras idag en stor mängd studier och det är svårt att hålla sig à jour med all ny tillgänglig information. Det är av yttersta vikt att kunna söka efter, sortera, tolka samt värdera information. Det är viktigt att förstå hur man värdesätter och tolkar resultat från olika studier för att skaffa sig en ”verklig” bild av vetenskapens synsätt inom ett visst område.
Nästintill alla studier som publiceras i vetenskapliga tidskrifter inom medicin/hälsa/naturvetenskap följer samma struktur, dvs. de är uppbyggda på samma sätt. Lär man sig bakgrunden till uppbyggnaden är det lätt att extrahera relevant information från en studie. Strukturen alla studier följer är kallad IMRAD, vilket står för:
Introduction
Introducera läsaren till ämnet, ”research space” vad saknas i litteraturen, syfte med studien.
Methods
Vilka metoder används vid statistik, hur har datainsamlingen skett, vilka är studieobjekten mm.
Results
Resultat presenteras, ofta i text samt tabellform.
And
Discussion
Diskutera resultat utifrån tidigare studier, nackdelar/fördelar med genomförd studie, riktlinjer för framtida forskning samt slutsatser baserade på studiens resultat.
Alla artiklar har även ett abstract som presenteras först i studien. Detta är en sammanfattning av hela studien och är oftast 200-300 ord samt följer IMRAD-struktur. Abstract är det som visas vid sökning i diverse forskningsdatabaser som ”PubMed” m.fl. För att läsa fullständiga artiklar krävs oftast behörighet från universitet/högskola eller dylikt om artikeln ej är gratis via s.k. ”open access”.
De flesta epidemiologiska forskningsrapporter kan delas in i följande kategorier:
· Beskriver spridning/förekomst av en sjukdom (ekologisk studie)
· Orsaker till sjukdom (kohort studie, fall-kontroll studie, tvärsnittsstudie)
· Experimentell studie (interventionsstudie, randomiserad klinisk studie)
Evidensgraden hos en studie är starkt kopplad till dess design (se Figur 1) och påverkar vilka tolkningar man kan göra av studies resultat. När man läser en studie kan det vara bra att utgå från följande frågor:
Vad är frågeställningen i studien?
· Vilket syfte har studien? Vad vill forskarna besvara/undersöka? Detta hittar man i slutet av sektionen ”Introduktion” där det brukar stå: ”The aim of the study is to…”
· Vad är det för typ av studie?
· Vilka slutsatser kan man dra med gällande studiedesign?
· Tvärsnittsstudie – Sjukdomsfrekvens eller riskfaktorer
· Kohortstudie – Undersöker samband mellan tex exponering och sjukdom (kan ej fastställa kausalitet till fullo)
· Fall-kontroll studie – Identifiera möjliga kausala faktorer
· Randomiserade kontrollerade studier – Utvärdera effekt av behandling, kan påvisa kausalitet
Vilken är studiepopulationen?
· Vilka ingår och vilka är utelämnade?
· Representerar studiepopulationen den population man vill uttala sig om
· Hur har urvalets gjorts? Bias?
· Systematiskt eller slumpmässigt urval av studieobjekten?
· Vilka felkällor finns i urvalet av studiepopulationen?
· Är urvalet tillräckligt stort för att besvara den fråga studien vill besvara? D.v.s. Finns tillräcklig statistisk ”power”?
Experimentella studier: är metoderna väl dokumenterade?
· Slumpmässig randomisering till behandling/kontroll?
· Vilka kontrollgrupper finns? Placebo, obehandlad kontrollgrupp, annan?
· Hur jämfördes behandlingarna?
· Är hypotesen tydligt presenterad?
· Är de statistiska metoderna tillräckliga och väl presenterade?
· Mättes utfall/effekter på ett objektivt sätt
För observationsstudier: är metoderna väl dokumenterade?
· Var datainsamlingen korrekt utförd? Objektiva eller subjektiva mätmetoder?
· Hur hanterades ”missing-data”?
· Vid kohortstudier, hur var uppföljningsfrekvensen?
· Vid fall-kontroll studie, var kontrollerna relevanta och matchade?
· Hur presenteras informationen?
· Finns det tydliga tabeller/diagram?
· Redogörs data för hela studiepopulationen?
· Presenteras varians, standardavvikelse, extremvärden?
Tolka och utvärdera studieresultaten
Experimentell studie:
· Försöker författarna hitta en skillnad mellan kontroll- och behandlings-grupp?
· Om författarna hittar en skillnad, beror den på slumpen eller bias?
· Om det finns en statistiskt signifikant skillnad; är den även kliniskt signifikant?
Observationsstudie:
· Hur är medelvärden i kontrollgrupp, har författarna valt en representativ kontrollgrupp?
· Försöker författarna hitta skillnader mellan exponerad och icke-exponerad grupp eller mellan fall och kontroller?
· Finns det en skillnad mellan grupperna som inte beror på bias, confounding?
· Är den statistiska skillnaden även av betydelse på folkhälsonivå/samhällsnivå?
Slutgiltig kontroll av studie:
· Var forskningshypotesen värd att undersöka och vad blir konsekvenserna av resultaten?
· Ger studien förslag på åtgärder utifrån resultaten som presenteras?
· Har påståenden och numerisk data i text valida referenser?
· Hur kunde studiedesignen förbättras?
· Saknas information för att kunna dra slutsatser från denna studie?
· Hur har författarna tolkat sina resultat utifrån tidigare studier?
· Beskriver författarna ”limitations” av studien väl, hur presenteras icke-signifikanta fynd?
· Är alla signifikanta fynd underbyggda med etablerad biologisk/medicinsk förklaringsmekanism?
Referenser, intressekonflikter
Har alla påståenden, data från andra studier mm. valida referenser?
Är studierna som det refereras till av värde, vilken typ av studier är det, publicerade i väl ansedd tidskrift (hitta info om tidskrifters kvalitet (”impact factor”http://www.impactfactorsearch.com).
Presenteras eventuella intressekonflikter (”Conflict of interest”) tydligt?
Är studien sponsrad/bekostad av företag/organisation med intresse av utfallet av studien?
Har författarna något känt bias, t.ex. styrelseledamot i företag med intresse av studiens utfall.
Kritiskt tänkande vid analys av studier (5)
Tabell 4 tar upp några av de viktigaste frågorna man bör ställa sig då man kritiskt granskar en studie.
Att granska en studie: kritiska frågor |
Har studien en intressant frågeställning? |
Har påståenden och numerisk data i text valida referenser? |
Är studien nyskapande, ger den ytterligare information till ämnet? |
Är studien designad för att kunna besvara de definierade målen (”aims”)? |
Framgår det om studien är deskriptiv, förklarande, påvisar kausalitet eller associationer? |
Är studiens utfall (”end-points”) väl definierade? |
Är insamlad data objektiv (uppmätt data) eller subjektiv (t.ex. enkäter)? |
Rapporteras ”missing-data” korrekt? För mycket ”missing-data”, varför? |
Hur hanteras confounding, bias? |
Är antalet individer tillräckligt stort (power) för att besvara frågeställningen? |
Baseras författarnas slutsatser på resultaten från studien? |
Är studien finansierad av någon med intresse av vissa resultat? |
Tabell 4. Kritiska frågor att använda vid utvärdering av studie.
Check-lista för att utvärdera kvaliteten av vetenskapliga studier
Tabell 5 kan användas som en mall för att kontrollera om en studie håller hög kvalitet, dvs. om studien tar upp både styrkor och svagheter och data presenteras objektivt och begripligt. Ytterligare viktiga aspekter som studiedesign, syfte, bias mm. behandlas i denna check-lista.
Referenser
3. R Bonita BB, T Kjellström. Basic Epidemiology: Wold Health Organization 2010; 2010.