3. Enkele concepten van experimenteel design

Author

Lieven Clement

Published

Invalid Date


1 Aselecte steekproef / willekeurige steekproeftrekking (Random Sampling)

Peroutka S. J. (1987). New England Journal of Medicine, 317, 1542–1543 reported that “A random, anonymous survey of 369 Stanford undergraduates found that 143 students, or 39 percent, had taken the drug Exstasy at least once.”

In an interview Peroutka argued that ‘It appears we literally have thousands of people who have taken it or are taking it and we don’t know what the effects are’

Experimental design?

“… data collected at the Stanford Student Union on Friday and Saturday nights where attractive young research assistants would solicit information from students. Grob C. (2000) Addiction Research, 8:6, 549-588”

  • Locatie/tijds bias: Deze studenten zijn niet representatief voor de volledige studentenpopulatie.

  • Interviewer bias: Aantrekkelijke jonge assistenten die informatie vragen over “trendy and rebellious topics” kunnen bepaalde groepen/antwoorden meer aantrekken/uitlokken.

Men had locatie/tijdsbias kunnen verhinderen door het nemen van een aselecte steekproef (willekeurige steekproeftrekking) zodat alle studenten uit de populatie evenveel kans hadden om in de steekproef te worden op genomen.

Een aselecte steekproef is representatief voor de populatie

2 Experimentele studies

2.1 Belangrijke concepten

In een experiment gaat een onderzoeker een behandeling toepassen op experimentele eenheden en observeert hij/zij het effect van de behandeling op de experimentele eenheden door het meten van een of meerdere respons variabelen.

  • experimentele eenheid: een eenheid (subject, plant, pot, proefdier) die random wordt toegekend aan behandeling.

  • responsvariabele: karateristiek van interesse van de experimentele eenheid die wordt gemeten en geanalyseerd om het effect van de behandeling na te gaan.

  • observationele eenheid: eenheid waarop de responsvariabele wordt gemeten. Er is vaak een 1-op-1 relatie tussen de experimentele en de observationele eenheid, maar niet altijd, b.v. pseudoreplicatie (technische herhalingen).

  • Verklarende (onafhankelijke) variable: variabele die potentieel een gedeelte van de variabiliteit in de response kan verklaren.

2.2 Nood aan controle

  • Salk study: Stel dat we iedereen vaccineren?

\(\rightarrow\) Nood aan controle groep

Om effect van een interventie te bepalen, noodzakelijk om respons te vergelijken tussen test- en controlegroep.

Test en controle groepen dienen vergelijkbaar te zijn!

  • Parallele studie: gelijktijdige vergelijking van test en controle!

  • Gecontroleerde NFIP studie:

nfip <- tibble(
  group=c("cases","controls","noConcent"),
  grade=c("g2","g1g3","g2"),
  vaccin=c("yes","no","no"),
  total=c(221998,725173,123605),
  polio=c(54,391,56)
  ) |>
  mutate(noPolio = total - polio,
         incidencePM = round(polio/total*1e6,0))
knitr::kable(nfip, "html")
group grade vaccin total polio noPolio incidencePM
cases g2 yes 221998 54 221944 243
controls g1g3 no 725173 391 724782 539
noConcent g2 no 123605 56 123549 453

\(\rightarrow\) Confounding

  • We observeren een lagere polio (P) incidentie voor kinderen bij wie de ouders geen toestemming gaven dan in de controle groep.

  • Ze mogen enkel verschillen in behandeling

\(\rightarrow\) Gerandomiseerde dubbel geblindeerde studies: zowel deelnemer als onderzoeker weten niet wie controle en wie behandeling kreeg.

2.3 Gerandomiseerde experimenten

  • Confounding vermijden door vergelijkbare groepen te creëren.

  • Randomisatie: lukrake toewijzing aan behandelingsgroepen

\(\rightarrow\) systematische verschillen tussen groepen kunnen enkel door interventie voorkomen.

2.3.1 Resultaten Salk studies?

  • Gecontroleerde NFIP studie:
nfip <- tibble(
  group=c("cases","controls","noConcent"),
  grade=c("g2","g1g3","g2"),
  vaccin=c("yes","no","no"),
  total=c(221998,725173,123605),
  polio=c(54,391,56)
  ) |>
  mutate(noPolio = total - polio,
         incidencePM = round(polio/total*1e6,0))
knitr::kable(nfip, "html")
group grade vaccin total polio noPolio incidencePM
cases g2 yes 221998 54 221944 243
controls g1g3 no 725173 391 724782 539
noConcent g2 no 123605 56 123549 453
salk <- data.frame(
  group=c("cases","control","noConcent"),
  treatment=c("vaccine","placebo","none"),
  total=c(200745,201229, 338778),polio=c(57,142,157)
  ) |>
  mutate(
    noPolio = total-polio,
    incidencePM = round(polio/total*1e6,0)
    )
knitr::kable(salk, "html")
group treatment total polio noPolio incidencePM
cases vaccine 200745 57 200688 284
control placebo 201229 142 201087 706
noConcent none 338778 157 338621 463

2.3.2 Simpele Randomisatie

  • Kan leiden tot verschillen in aantal subjecten per behandelingsarm

  • in 5% of van de steekproeven zien we een imbalans van

    • minstens 60:40 in een studie met 100 subjecten, en
    • van minstens 531:469 in een studie met 1000 subjecten.
  • The imbalans is niet problematisch, maar zorgt voor een verlies in precisie op de schatters (vb. gemiddelden).


2.3.3 Gebalanceerde Randomisatie

  • Gelijke aantallen van elke behandeling worden toegekend aan een blok van 2, 4 of meer subjecten.

      1. AB, (2) BA
      1. AABB, (2) ABAB, (3) ABBA, (4) BABA, (5) BAAB, (6) BBAA
  • Gebalanceerde Randomisatie verzekert \(\pm\) gelijk aantal subjecten in elke behandelingsarm van het experiment (vb controle en behandelingsgroep).

  • Zorgt er niet voor dat we een gelijk aantal mannen en vrouwen hebben in elke groep, etc.

  • In kleine studies kunnen de groepen ongebalanceerd zijn in andere karakteristieken (e.g. gender, afkomst, leeftijd …)

  • Dat is niet problematisch omdat het at random gebeurt, maar het zorgt opnieuw voor een verlies in precisie.


2.3.4 Gestratificeerde Randomisatie

  • De imbalans voor bijvoorbeeld gender kan worden vermeden door gestratificeerde randomisatie: gebalanceerde randomisatie per stratum

Stratified Randomisatie

2.3.5 Correctie voor confounding (‘adjustment for’)

  • Stel dat de te vergelijken interventiegroepen toch niet inherent vergelijkbaar zijn.

  • Dan is ‘correctie’ via het studiedesign niet langer mogelijk.

  • Correcties gebeuren dan via de statistische analyse (zie bijvoorbeeld hoofdstuk 10)

3 Factoriële designs

  • Factoriële designs zijn experimenten die het effect van meer dan 1 interventie testen via een design dat toelaat om interacties tussen behandelingen te meten.

  • d.w.z. dat het toelaat na te gaan of 2 interventies mekaar versterken of verzwakken.

  • Bijvoorbeeld: Wat is het effect van de concentratie waterstof peroxide en runderlever extract op de reactiesnelheid van catalase?

Substraat (A)  Enzym (B) B₁: 25% extract B₂: 100% puur extract
A₁: 1% H₂O₂ A₁B₁ A₁B₂
A₂: 6% H₂O₂ A₂B₁ A₂B₂
  • Factoriële designs leveren rijkere informatie dan afzonderlijke parallelle designs.

  • Ze laten toe om interacties te detecteren: bijvoorbeeld wanneer het effect van extra enzym (van 25% naar 100%) bij lage substraat concentratie (1% \(H_2O_2\)) kleiner (groter) is dan bij hoge concentratie van het substraat (6% \(H_2O_2\)) en vice versa

  • In de afwezigheid van interacties is er evenveel inzicht in de effecten van 2 factoren als uit 2 afzonderlijke parallelle designs.

4 Steekproefgrootte

  • De steekproefgrootte is ook cruciaal

  • Eenzelfde proefopzet waarbij een steekproef uit dezelfde populatie wordt getrokken maar met meer subjecten \(\rightarrow\) Meer precieze resultaten (Zie introductie).


5 Blok Designs

5.1 Gen expression example

  • dm: diabetic medium, nd: non diabetic medium, co: control

  • 4 bio-repeats, 2 technische repeats/biorep

  • dm: diabetic medium, nd: non diabetic medium, co: control

  • 4 bio-reps, 2 techreps/biorep, 2 plates A & B

  • Treatment and plate almost entirely confounded

5.2 Nature methods: Points of significance - Blocking


5.3 Randomised complete block designs

  • Experimentele designs waarbij experimentele subjecten/experimentele eenheden eerst worden opgedeeld in blokken
  • Vervolgens wordt elk niveau van de interventie binnen elk blok toepast en via randomisatie toegewezen.
  • Dat kan b.v. d.m.v. gestratificeerde randomisatie: stratificatie volgens blokken
  • Nuttig wanneer uitkomst sterk varieert tussen subjecten/experimentele eenheden zodat interventie-effect moeilijk op te pikken is
  • Als gegevens veel minder variabel zijn per blok, laat randomiseren van de interventie per blok toe om interventie-effect binnen blok te evalueren met veel minder ruis.
  • Ook veel gebruikt bij technische variabiliteit.
    • Vb grotere experimenten: meerdere celculturen nodig, niet alles kan tegelijk in lab, meerdere sequeneringsruns om genexpressie te meten
    • Fluctuaties in de labo-condities, tussen celculturen of van sequeneringsrun tot sequeneringsrun zorgen voor extra technische ruis.
    • Blokken (vb. tijdstippen, runs, celculturen) en behandelingen Randomiseren binnen elk blok
    • Opnieuw interventie-effecten schatten met veel minder ruis.

6 Observationele studies

  • In observationele studies experimenteert men niet.
  • Men observeert er welke blootstellingen elk individu ondergaat.
  • Het bestaan van confounders kan men daarom niet uitsluiten.

6.1 Vitamine E en risico op hartziekten

Prospectieve observationele studie naar effect van Vitamine E:

” After controlling for age and several coronary risk factors, we observed a lower risk of coronary disease among men with higher intakes of vitamin E (P for trend = 0.003). For men consuming more than 60 IU per day of vitamin E, the multivariate relative risk was 0.64 (95% confidence interval, 0.49 to 0.83) as compared with those consuming less than 7.5 IU per day. ”

  • Gegevens suggereren gunstig effect van Vitamine E.
  • Op die basis werd aanbevolen Vitamine E op grote schaal toe te dienen.
  • Maar, zijn vitamine E gebruikers wel vergelijkbaar met niet-gebruikers?

6.2 Vergelijking met Experimentele studies naar effect van vitamine E

Uit experimentele dubbelgeblindeerde gerandomiseerde vitamine E/placebo studies leerde men:

  • voedingsinterventie studies in Linxian (China): relatief risico (RR) 0.90 (95% confidence interval (CI), 0.76-1.07);
  • Alpha-Tocopherol, Beta Carotene Cancer Prevention studie: RR 1.18 (95% CI, 0.62-2.27);
  • Gruppo Italiano per lo Studio della Sopravivenza nell’ Infarto miocardico Prevenzione studie: RR 0.95 (95% CI, 0.86-1.05); Heart Outcomes Prevention Evaluation studie: RR 1.05 (95% CI, 0.95-1.16);
  • Primary Prevention Project: RR 1.07 (95% CI, 0.74-1.56);
  • Heart Protection Study: RR 1.06 (95% CI, 0.95-1.18).

6.3 Observationele versus experimentele studies

  • Observationele studies hebben typisch te kampen met confounding.

  • Corrigeren voor confounding kan uiteraard enkel m.b.t. factoren die men opgemeten heeft.

  • Dit maakt observationele studies beperkter om causale besluiten te trekken.

  • Gerandomiseerde studies sluiten ‘in principe’ het bestaan van dergelijke factoren uit.

  • Ze zijn daarom de gouden standaard voor causale besluitvorming, maar niet altijd haalbaar of mogelijk.