Advanced Research Methods – Lectures
P-waarde: dit geeft de kans op het onderzoeksresultaat weer als de nulhypothese waar is.
College 1.2 - Causal inference: Drawing lines between causes, and effects
Problemen bij het stellen van een causaal verband:
• Een kleine steekproef > hoeft niet persé een probleem te zijn op het moment dat
iedereen in de steekproef hetzelfde laat zien (stel iedereen gaat eraan dood, kan je
aardig wat zeggen over het product, maar als er maar een iemand aan zou overlijden,
is er niet veel over te zeggen)
• Commercial company > de universiteit werkt altijd samen met commerciële
bedrijven. Belangrijk want het helpt hen om betere onderzoeken te doen, maar je
hebt ‘safe guards’ nodig (bijv. universiteit bepaalt wat er gepubliceerd wordt en ze
hebben toegang tot alle data nodig)
• Geen controlegroep > dit is wel echt essentieel. Wat als dezelfde vrouwen dit
product nou niet hadden gebruikt? Wat zou er dan gebeurd zijn met hun huid? Issue
of regression towards the mean > als je huid er nu al slecht uitziet, gaat het er over
een aantal weken sowieso beter uitzien; of je nou wel of niet het product hebt
gebruikt.
Definition of a causal effect (Hernàn/Robins): ‘In an individual, a treatment has a causal
effect if the outcome under treatment 1 would be different from the outcome under
treatment 2.’
Potential outcomes
• Causal effect:
𝑌𝑖𝑎=1 ≠ 𝑌𝑖𝑎=0
→ a causal effect is there if the outcome in treatment 1 is different for the
outcome in treatment 0 (ook wel: zonder de behandeling). Links zie je de
uitkomst van persoon i die de behandeling dus wel heeft gehad en rechts de
uitkomst van persoon i die de behandeling niet heeft gehad
• Y = outcome
• a = treatment
• 1 = yes (received treatment)
• 0 = no (received no treatment)
• i = individual
• ≠ does not equal > uitkomst is dus niet hetzelfde
Treatment effect for a individual: uitkomst met behandeling – uitkomst zonder behandeling
Het probleem is alleen dat niet alle potentiele behandelingen worden geobserveerd. Patiënt
K bijv. heeft bijvoorbeeld de behandeling wel gehad en dus weten we wat daar de uitkomst
van is, maar we weten niet wat er gebeurd zou zijn als ze de behandeling niet had gehad →
we weten daarom ook niet het treatment effect voor patiënt K. Het effect die niet is
geobserveerd noem je de counterfactual outcome: potential outcome that is not observed
because the subject did not experience the treatment (‘counter the fact’). Voor patiënt K is
,dat de uitkomst waarbij er geen behandeling zou hebben plaatsgevonden en voor patiënt M
is dat de uitkomst waarbij er wel een behandeling zou hebben plaatsgevonden.
→ Dit is een groot probleem, want je hebt missende data. Je kiest vaak maar voor één ding:
wel of geen behandeling. Je kan niet ineens terug. Er moet dus een andere manier zijn om
causale verbanden te benaderen.
Identifiability conditions
• Average causal effect can still be determined under certain conditions
• ‘Observing’ the counterfactual
• Based on population averages, causal effects can be estimated if three identifiability
conditions hold:
- Positivity (1)
- Consistency (2)
- Exchangeability (3)
• If the conditions are met, then association of exposure and outcome is unbiased
estimate of causal effect
Positivity (1)
• Observe ‘what would have happened if…’
• About the sample and the way it was composed
• ‘Positive probability’ of being assigned to each of the treatment levels > de mensen
zonder aansteker hadden er net zo goed wel eentje op zak kunnen hebben
• Units are assigned to all relevant ‘treatments’:
• People with and people without a cigarette lighter
• People with lighter could also not have had a lighter, and vice versa
• L’Oréal: 100% was assigned to True Mineral Match, 0% to comparator
• Users could not not have used it > het was onmogelijk om het product
niet te gebruiken
• Control group > we hebben mensen met en mensen zonder een aansteker op zak
Consistency (2)
• Observe ‘what would have happened if…’
• Define ‘if’: clear definition of ‘treatments’
• Hernàn: Does water kill? (wordt er hier drinken of bijv. zwemmen bedoeld?)
• Is it consistent?
• Broccoli (wat bedoel je met broccoli? Hoeveel broccoli? Wat bedoel je met
geen broccoli?) → specifiek maken!
• Effect of obesity on health > het maakt hier heel erg uit waar het overgewicht
vandaan komt: genetisch of slecht eten? De invloed op hun gezondheid kan
bij beide heel anders zijn
• Effect of obesity on job prospects > het maakt hier niet uit om waar het
overgewicht vandaan komt → het is dus een consistent concept
• Effect of healthcare spending on mortality > ligt er heel erg aan waar je je geld
aan hebt uitgegeven
• Carrying a cigarette lighter? > erg consistent
, Exchangeability (3)
• Observe ‘what would have happened if…’ > …we took all the cigarette lighters away
from the people who had them and give them to the people who didn’t have them.
Then compare them after 20 years. Zou de uitkomst anders zijn als je de aanstekers
bij dezelfde mensen had gelaten? If the answer is yes: the groups are exhangeable. If
the answer is no: the groups aren’t exhangeable → dit zou een probleem zijn.
• Treatment groups are exchangeable:
• It does not matter who gets treatment A and who gets treatment B
• Notation: 𝑌𝑖𝑎 ⊥ A,
• ‘Potential outcomes are independent of the treatment that was actually
received’
• Are people with and without lighters exchangeable (similar in other
respects)? > they were not exchangeable.
• It may be necessary to take other factors into account (adjustment)
• Within smoking group, are people with and without lighter exchangeable?
• Within non-smoking group, are people with and without lighter
exchangeable?
• Association can be ascribed to treatment effect
Positivity (1.2)
• Units are assigned to all relevant ‘treatments’ within levels of adjustment factors
• ‘Positive probability’ of being assigned to each of the treatment levels
• We need:
• smokers with cigarette lighter
• smokers with without cigarette lighter
• non-smokers with cigarette lighter
• non-smokers without cigarette lighter
→ we hebben dus niet alleen mensen nodig met wel of geen aansteker,
maar ook rokers met een aansteker en geen-rokers met een aansteker etc.
We zouden hier stratification kunnen gebruiken > groepen maken door te kijken naar hun
‘smoking status’.
• Association: people with cigarette lighters less likely to be healthy
• Are exposure groups exchangeable?
• No difference in factors that influence health outcome?
• Unrealistic
We vinden hier het probleem van exchangeability dus we willen meer exchangeability
bereiken door stratificatie te gebruiken > door te kijken naar de mensen de roken en dan of
ze wel of geen aanstekers op zak hadden → we have adjusted for smoking status.
Meeting the conditions: RCT
• Randomised controlled trial
• Select patients
• Randomly assign them to treatment groups
• Random: exchangeability
P-waarde: dit geeft de kans op het onderzoeksresultaat weer als de nulhypothese waar is.
College 1.2 - Causal inference: Drawing lines between causes, and effects
Problemen bij het stellen van een causaal verband:
• Een kleine steekproef > hoeft niet persé een probleem te zijn op het moment dat
iedereen in de steekproef hetzelfde laat zien (stel iedereen gaat eraan dood, kan je
aardig wat zeggen over het product, maar als er maar een iemand aan zou overlijden,
is er niet veel over te zeggen)
• Commercial company > de universiteit werkt altijd samen met commerciële
bedrijven. Belangrijk want het helpt hen om betere onderzoeken te doen, maar je
hebt ‘safe guards’ nodig (bijv. universiteit bepaalt wat er gepubliceerd wordt en ze
hebben toegang tot alle data nodig)
• Geen controlegroep > dit is wel echt essentieel. Wat als dezelfde vrouwen dit
product nou niet hadden gebruikt? Wat zou er dan gebeurd zijn met hun huid? Issue
of regression towards the mean > als je huid er nu al slecht uitziet, gaat het er over
een aantal weken sowieso beter uitzien; of je nou wel of niet het product hebt
gebruikt.
Definition of a causal effect (Hernàn/Robins): ‘In an individual, a treatment has a causal
effect if the outcome under treatment 1 would be different from the outcome under
treatment 2.’
Potential outcomes
• Causal effect:
𝑌𝑖𝑎=1 ≠ 𝑌𝑖𝑎=0
→ a causal effect is there if the outcome in treatment 1 is different for the
outcome in treatment 0 (ook wel: zonder de behandeling). Links zie je de
uitkomst van persoon i die de behandeling dus wel heeft gehad en rechts de
uitkomst van persoon i die de behandeling niet heeft gehad
• Y = outcome
• a = treatment
• 1 = yes (received treatment)
• 0 = no (received no treatment)
• i = individual
• ≠ does not equal > uitkomst is dus niet hetzelfde
Treatment effect for a individual: uitkomst met behandeling – uitkomst zonder behandeling
Het probleem is alleen dat niet alle potentiele behandelingen worden geobserveerd. Patiënt
K bijv. heeft bijvoorbeeld de behandeling wel gehad en dus weten we wat daar de uitkomst
van is, maar we weten niet wat er gebeurd zou zijn als ze de behandeling niet had gehad →
we weten daarom ook niet het treatment effect voor patiënt K. Het effect die niet is
geobserveerd noem je de counterfactual outcome: potential outcome that is not observed
because the subject did not experience the treatment (‘counter the fact’). Voor patiënt K is
,dat de uitkomst waarbij er geen behandeling zou hebben plaatsgevonden en voor patiënt M
is dat de uitkomst waarbij er wel een behandeling zou hebben plaatsgevonden.
→ Dit is een groot probleem, want je hebt missende data. Je kiest vaak maar voor één ding:
wel of geen behandeling. Je kan niet ineens terug. Er moet dus een andere manier zijn om
causale verbanden te benaderen.
Identifiability conditions
• Average causal effect can still be determined under certain conditions
• ‘Observing’ the counterfactual
• Based on population averages, causal effects can be estimated if three identifiability
conditions hold:
- Positivity (1)
- Consistency (2)
- Exchangeability (3)
• If the conditions are met, then association of exposure and outcome is unbiased
estimate of causal effect
Positivity (1)
• Observe ‘what would have happened if…’
• About the sample and the way it was composed
• ‘Positive probability’ of being assigned to each of the treatment levels > de mensen
zonder aansteker hadden er net zo goed wel eentje op zak kunnen hebben
• Units are assigned to all relevant ‘treatments’:
• People with and people without a cigarette lighter
• People with lighter could also not have had a lighter, and vice versa
• L’Oréal: 100% was assigned to True Mineral Match, 0% to comparator
• Users could not not have used it > het was onmogelijk om het product
niet te gebruiken
• Control group > we hebben mensen met en mensen zonder een aansteker op zak
Consistency (2)
• Observe ‘what would have happened if…’
• Define ‘if’: clear definition of ‘treatments’
• Hernàn: Does water kill? (wordt er hier drinken of bijv. zwemmen bedoeld?)
• Is it consistent?
• Broccoli (wat bedoel je met broccoli? Hoeveel broccoli? Wat bedoel je met
geen broccoli?) → specifiek maken!
• Effect of obesity on health > het maakt hier heel erg uit waar het overgewicht
vandaan komt: genetisch of slecht eten? De invloed op hun gezondheid kan
bij beide heel anders zijn
• Effect of obesity on job prospects > het maakt hier niet uit om waar het
overgewicht vandaan komt → het is dus een consistent concept
• Effect of healthcare spending on mortality > ligt er heel erg aan waar je je geld
aan hebt uitgegeven
• Carrying a cigarette lighter? > erg consistent
, Exchangeability (3)
• Observe ‘what would have happened if…’ > …we took all the cigarette lighters away
from the people who had them and give them to the people who didn’t have them.
Then compare them after 20 years. Zou de uitkomst anders zijn als je de aanstekers
bij dezelfde mensen had gelaten? If the answer is yes: the groups are exhangeable. If
the answer is no: the groups aren’t exhangeable → dit zou een probleem zijn.
• Treatment groups are exchangeable:
• It does not matter who gets treatment A and who gets treatment B
• Notation: 𝑌𝑖𝑎 ⊥ A,
• ‘Potential outcomes are independent of the treatment that was actually
received’
• Are people with and without lighters exchangeable (similar in other
respects)? > they were not exchangeable.
• It may be necessary to take other factors into account (adjustment)
• Within smoking group, are people with and without lighter exchangeable?
• Within non-smoking group, are people with and without lighter
exchangeable?
• Association can be ascribed to treatment effect
Positivity (1.2)
• Units are assigned to all relevant ‘treatments’ within levels of adjustment factors
• ‘Positive probability’ of being assigned to each of the treatment levels
• We need:
• smokers with cigarette lighter
• smokers with without cigarette lighter
• non-smokers with cigarette lighter
• non-smokers without cigarette lighter
→ we hebben dus niet alleen mensen nodig met wel of geen aansteker,
maar ook rokers met een aansteker en geen-rokers met een aansteker etc.
We zouden hier stratification kunnen gebruiken > groepen maken door te kijken naar hun
‘smoking status’.
• Association: people with cigarette lighters less likely to be healthy
• Are exposure groups exchangeable?
• No difference in factors that influence health outcome?
• Unrealistic
We vinden hier het probleem van exchangeability dus we willen meer exchangeability
bereiken door stratificatie te gebruiken > door te kijken naar de mensen de roken en dan of
ze wel of geen aanstekers op zak hadden → we have adjusted for smoking status.
Meeting the conditions: RCT
• Randomised controlled trial
• Select patients
• Randomly assign them to treatment groups
• Random: exchangeability
