3. Enkele concepten van experimenteel design
1 Aselecte steekproef / willekeurige steekproeftrekking (Random Sampling)
Peroutka S. J. (1987). New England Journal of Medicine, 317, 1542–1543 reported that “A random, anonymous survey of 369 Stanford undergraduates found that 143 students, or 39 percent, had taken the drug Exstasy at least once.”
In an interview Peroutka argued that ‘It appears we literally have thousands of people who have taken it or are taking it and we don’t know what the effects are’
Experimental design?
“… data collected at the Stanford Student Union on Friday and Saturday nights where attractive young research assistants would solicit information from students. Grob C. (2000) Addiction Research, 8:6, 549-588”
Locatie/tijds bias: Deze studenten zijn niet representatief voor de volledige studentenpopulatie.
Interviewer bias: Aantrekkelijke jonge assistenten die informatie vragen over “trendy and rebellious topics” kunnen bepaalde groepen/antwoorden meer aantrekken/uitlokken.
Men had locatie/tijdsbias kunnen verhinderen door het nemen van een aselecte steekproef (willekeurige steekproeftrekking) zodat alle studenten uit de populatie evenveel kans hadden om in de steekproef te worden op genomen.
Een aselecte steekproef is representatief voor de populatie
2 Experimentele studies
2.1 Belangrijke concepten
In een experiment gaat een onderzoeker een behandeling toepassen op experimentele eenheden en observeert hij/zij het effect van de behandeling op de experimentele eenheden door het meten van een of meerdere respons variabelen.
experimentele eenheid: een eenheid (subject, plant, pot, proefdier) die random wordt toegekend aan behandeling.
responsvariabele: karateristiek van interesse van de experimentele eenheid die wordt gemeten en geanalyseerd om het effect van de behandeling na te gaan.
observationele eenheid: eenheid waarop de responsvariabele wordt gemeten. Er is vaak een 1-op-1 relatie tussen de experimentele en de observationele eenheid, maar niet altijd, b.v. pseudoreplicatie (technische herhalingen).
Verklarende (onafhankelijke) variable: variabele die potentieel een gedeelte van de variabiliteit in de response kan verklaren.
2.2 Nood aan controle
- Salk study: Stel dat we iedereen vaccineren?
\(\rightarrow\) Nood aan controle groep
Om effect van een interventie te bepalen, noodzakelijk om respons te vergelijken tussen test- en controlegroep.
Test en controle groepen dienen vergelijkbaar te zijn!
Parallele studie: gelijktijdige vergelijking van test en controle!
Gecontroleerde NFIP studie:
nfip <- tibble(
group=c("cases","controls","noConcent"),
grade=c("g2","g1g3","g2"),
vaccin=c("yes","no","no"),
total=c(221998,725173,123605),
polio=c(54,391,56)
) |>
mutate(noPolio = total - polio,
incidencePM = round(polio/total*1e6,0))
knitr::kable(nfip, "html")| group | grade | vaccin | total | polio | noPolio | incidencePM |
|---|---|---|---|---|---|---|
| cases | g2 | yes | 221998 | 54 | 221944 | 243 |
| controls | g1g3 | no | 725173 | 391 | 724782 | 539 |
| noConcent | g2 | no | 123605 | 56 | 123549 | 453 |
\(\rightarrow\) Confounding
We observeren een lagere polio (P) incidentie voor kinderen bij wie de ouders geen toestemming gaven dan in de controle groep.
Ze mogen enkel verschillen in behandeling
\(\rightarrow\) Gerandomiseerde dubbel geblindeerde studies: zowel deelnemer als onderzoeker weten niet wie controle en wie behandeling kreeg.
2.3 Gerandomiseerde experimenten
Confounding vermijden door vergelijkbare groepen te creëren.
Randomisatie: lukrake toewijzing aan behandelingsgroepen
\(\rightarrow\) systematische verschillen tussen groepen kunnen enkel door interventie voorkomen.
2.3.1 Resultaten Salk studies?
- Gecontroleerde NFIP studie:
nfip <- tibble(
group=c("cases","controls","noConcent"),
grade=c("g2","g1g3","g2"),
vaccin=c("yes","no","no"),
total=c(221998,725173,123605),
polio=c(54,391,56)
) |>
mutate(noPolio = total - polio,
incidencePM = round(polio/total*1e6,0))
knitr::kable(nfip, "html")| group | grade | vaccin | total | polio | noPolio | incidencePM |
|---|---|---|---|---|---|---|
| cases | g2 | yes | 221998 | 54 | 221944 | 243 |
| controls | g1g3 | no | 725173 | 391 | 724782 | 539 |
| noConcent | g2 | no | 123605 | 56 | 123549 | 453 |
salk <- data.frame(
group=c("cases","control","noConcent"),
treatment=c("vaccine","placebo","none"),
total=c(200745,201229, 338778),polio=c(57,142,157)
) |>
mutate(
noPolio = total-polio,
incidencePM = round(polio/total*1e6,0)
)
knitr::kable(salk, "html")| group | treatment | total | polio | noPolio | incidencePM |
|---|---|---|---|---|---|
| cases | vaccine | 200745 | 57 | 200688 | 284 |
| control | placebo | 201229 | 142 | 201087 | 706 |
| noConcent | none | 338778 | 157 | 338621 | 463 |
2.3.2 Simpele Randomisatie
Kan leiden tot verschillen in aantal subjecten per behandelingsarm
in 5% of van de steekproeven zien we een imbalans van
- minstens 60:40 in een studie met 100 subjecten, en
- van minstens 531:469 in een studie met 1000 subjecten.
The imbalans is niet problematisch, maar zorgt voor een verlies in precisie op de schatters (vb. gemiddelden).
2.3.3 Gebalanceerde Randomisatie
Gelijke aantallen van elke behandeling worden toegekend aan een blok van 2, 4 of meer subjecten.
- AB, (2) BA
- AABB, (2) ABAB, (3) ABBA, (4) BABA, (5) BAAB, (6) BBAA
- …
Gebalanceerde Randomisatie verzekert \(\pm\) gelijk aantal subjecten in elke behandelingsarm van het experiment (vb controle en behandelingsgroep).
Zorgt er niet voor dat we een gelijk aantal mannen en vrouwen hebben in elke groep, etc.
In kleine studies kunnen de groepen ongebalanceerd zijn in andere karakteristieken (e.g. gender, afkomst, leeftijd …)
Dat is niet problematisch omdat het at random gebeurt, maar het zorgt opnieuw voor een verlies in precisie.
2.3.4 Gestratificeerde Randomisatie
- De imbalans voor bijvoorbeeld gender kan worden vermeden door gestratificeerde randomisatie: gebalanceerde randomisatie per stratum
2.3.5 Correctie voor confounding (‘adjustment for’)
Stel dat de te vergelijken interventiegroepen toch niet inherent vergelijkbaar zijn.
Dan is ‘correctie’ via het studiedesign niet langer mogelijk.
Correcties gebeuren dan via de statistische analyse (zie bijvoorbeeld hoofdstuk 10)
3 Factoriële designs
Factoriële designs zijn experimenten die het effect van meer dan 1 interventie testen via een design dat toelaat om interacties tussen behandelingen te meten.
d.w.z. dat het toelaat na te gaan of 2 interventies mekaar versterken of verzwakken.
Bijvoorbeeld: Wat is het effect van de concentratie waterstof peroxide en runderlever extract op de reactiesnelheid van catalase?
| Substraat (A) Enzym (B) | B₁: 25% extract | B₂: 100% puur extract |
|---|---|---|
| A₁: 1% H₂O₂ | A₁B₁ | A₁B₂ |
| A₂: 6% H₂O₂ | A₂B₁ | A₂B₂ |
Factoriële designs leveren rijkere informatie dan afzonderlijke parallelle designs.
Ze laten toe om interacties te detecteren: bijvoorbeeld wanneer het effect van extra enzym (van 25% naar 100%) bij lage substraat concentratie (1% \(H_2O_2\)) kleiner (groter) is dan bij hoge concentratie van het substraat (6% \(H_2O_2\)) en vice versa
In de afwezigheid van interacties is er evenveel inzicht in de effecten van 2 factoren als uit 2 afzonderlijke parallelle designs.
4 Steekproefgrootte
De steekproefgrootte is ook cruciaal
Eenzelfde proefopzet waarbij een steekproef uit dezelfde populatie wordt getrokken maar met meer subjecten \(\rightarrow\) Meer precieze resultaten (Zie introductie).
5 Blok Designs
5.1 Gen expression example
dm: diabetic medium, nd: non diabetic medium, co: control
4 bio-repeats, 2 technische repeats/biorep
dm: diabetic medium, nd: non diabetic medium, co: control
4 bio-reps, 2 techreps/biorep, 2 plates A & B
Treatment and plate almost entirely confounded
5.2 Nature methods: Points of significance - Blocking
5.3 Randomised complete block designs
- Experimentele designs waarbij experimentele subjecten/experimentele eenheden eerst worden opgedeeld in blokken
- Vervolgens wordt elk niveau van de interventie binnen elk blok toepast en via randomisatie toegewezen.
- Dat kan b.v. d.m.v. gestratificeerde randomisatie: stratificatie volgens blokken
- Nuttig wanneer uitkomst sterk varieert tussen subjecten/experimentele eenheden zodat interventie-effect moeilijk op te pikken is
- Als gegevens veel minder variabel zijn per blok, laat randomiseren van de interventie per blok toe om interventie-effect binnen blok te evalueren met veel minder ruis.
- Ook veel gebruikt bij technische variabiliteit.
- Vb grotere experimenten: meerdere celculturen nodig, niet alles kan tegelijk in lab, meerdere sequeneringsruns om genexpressie te meten
- Fluctuaties in de labo-condities, tussen celculturen of van sequeneringsrun tot sequeneringsrun zorgen voor extra technische ruis.
- Blokken (vb. tijdstippen, runs, celculturen) en behandelingen Randomiseren binnen elk blok
- Opnieuw interventie-effecten schatten met veel minder ruis.
6 Observationele studies
- In observationele studies experimenteert men niet.
- Men observeert er welke blootstellingen elk individu ondergaat.
- Het bestaan van confounders kan men daarom niet uitsluiten.
6.1 Vitamine E en risico op hartziekten
Prospectieve observationele studie naar effect van Vitamine E:
” After controlling for age and several coronary risk factors, we observed a lower risk of coronary disease among men with higher intakes of vitamin E (P for trend = 0.003). For men consuming more than 60 IU per day of vitamin E, the multivariate relative risk was 0.64 (95% confidence interval, 0.49 to 0.83) as compared with those consuming less than 7.5 IU per day. ”
- Gegevens suggereren gunstig effect van Vitamine E.
- Op die basis werd aanbevolen Vitamine E op grote schaal toe te dienen.
- Maar, zijn vitamine E gebruikers wel vergelijkbaar met niet-gebruikers?
6.2 Vergelijking met Experimentele studies naar effect van vitamine E
Uit experimentele dubbelgeblindeerde gerandomiseerde vitamine E/placebo studies leerde men:
- voedingsinterventie studies in Linxian (China): relatief risico (RR) 0.90 (95% confidence interval (CI), 0.76-1.07);
- Alpha-Tocopherol, Beta Carotene Cancer Prevention studie: RR 1.18 (95% CI, 0.62-2.27);
- Gruppo Italiano per lo Studio della Sopravivenza nell’ Infarto miocardico Prevenzione studie: RR 0.95 (95% CI, 0.86-1.05); Heart Outcomes Prevention Evaluation studie: RR 1.05 (95% CI, 0.95-1.16);
- Primary Prevention Project: RR 1.07 (95% CI, 0.74-1.56);
- Heart Protection Study: RR 1.06 (95% CI, 0.95-1.18).
6.3 Observationele versus experimentele studies
Observationele studies hebben typisch te kampen met confounding.
Corrigeren voor confounding kan uiteraard enkel m.b.t. factoren die men opgemeten heeft.
Dit maakt observationele studies beperkter om causale besluiten te trekken.
Gerandomiseerde studies sluiten ‘in principe’ het bestaan van dergelijke factoren uit.
Ze zijn daarom de gouden standaard voor causale besluitvorming, maar niet altijd haalbaar of mogelijk.