Hoorcollege 1 ARMS Multiple lineair regression
Het is altijd van belang om te bekijken hoe onderzoeken zijn uitgevoerd.
Is er sprake van een representatieve steekproef?
Betrouwbare meting van de variabelen? Hoe is de validiteit?
Zijn de juiste analyses gedaan en zijn de resultaten op de juiste manier geïnterpreteerd (ook wel
statistical validity)
Zijn er alternatieve verklaringen?
- Associatie is geen causatie
- Blijft het effect bestaan als er meer variabelen worden toegevoegd? Een derde variabele? Hier kan
je een multiple regression voor gebruiken
Simple linear regression: Y1 = B0 + B1X1 + ei
Y = outcome = afhankelijk
X = predictor = onafhankelijk
Multiple lineair regression: heeft 1 uitkomstvariable en meerdere predictors: Y1 = B0 + B1X1 + B2X2 …. + ei
Om te kijken of je een goed statistisch model hebt kijk je naar 2 dingen:
1. De hoeveelheid verklaarde variantie (R2). Deze ligt aan de spreiding van de residuen
2. De helling (slope) van de regressielijn (B1). Verandering voor X zorgt voor verandering in Y
Het model: Y1 = B0 + B1X1 + B2X2 + ei
Y^ = voorspelling van de outcome. Nooit helemaal hetzelfde als de
geobserveerde score. Dakje geeft aan dat het om een voorspelde score gaat
B0 = het intercept
B1 = slope van x1 (b-waarde)
B2 = slope van x2 (b-waarde)
E = residu
^ = B0 + B1X1 + B2X2. …
Het statistische model: Y
Het statistische model wordt soms ook wel een additive linear model genoemd. Je voegt namelijk telkens extra
predictoren aan het model toe.
Variabelen kunnen verschillende meetniveaus hebben:
Categorical/qualitative (kun je meenemen als dummy variabelen)
- Nominal
- Ordinal
Continious/quantitave/numerical (MLR heeft dit meetniveau nodig)
- Interval
- Ratio
Een categorische variabele kun je dus meenemen als dummy. De waardes van een dummy zijn altijd 0 en 1.
FOUT: Y^ = B0 + B1Colour1
GOED: Y^ = B0 + B1Redi + B2Bluei + B3Greeni
Bij een hierarchical MLR doe je een opeenvolgende serie van MLR. Bijvoorbeeld wanneer er voor andere
variabelen is gecontroleerd. Je kijkt dat of de nieuwe variabelen wat opleveren. Is het 2e model beter dan het 1e?
Hypothese voor elk model:
, In de output kijken naar:
R2 VS Adjusted R2 (steekproef vs geschatte waarde van de populatie)
R2 VS R2-change (fit of model vs verbetering hierin vergeleken met het vorige model, alleen bij
hierarchical regression)
Op basis van deze tabellen kies je welk
model het beste is. Vervolgens wordt er
gekeken naar de tabel coefficients waarbij je
kijkt naar een bivariate correlatie (hoe heeft x
effect op y?). Daarnaast kan je kijken naar de
unieke bijdrage per predictor.
B VS Beta (ongestandaardiseerd vs
gestandaardiseerd). B geeft aan hoeveel X
toeneemt bij X=1. Met B is het echter
moeilijk te bepalen welke predictoren
meer/minder belangrijk zijn. Daarvoor kijk je
naar de gestandaardiseerde score Beta. De
hoogste Beta geeft aan welke het meest
belangrijk is (mits significant).
Statistische inferentie is gebaseerd op veel assumpties. Schending van deze assumpties leiden tot incorrecte
resultaten (verkeerde p-waardes of verkeerde betrouwbaarheidsintervallen).
Assumpties multiple regression:
Meetniveau: afhankelijke variabele is continiu
Het is altijd van belang om te bekijken hoe onderzoeken zijn uitgevoerd.
Is er sprake van een representatieve steekproef?
Betrouwbare meting van de variabelen? Hoe is de validiteit?
Zijn de juiste analyses gedaan en zijn de resultaten op de juiste manier geïnterpreteerd (ook wel
statistical validity)
Zijn er alternatieve verklaringen?
- Associatie is geen causatie
- Blijft het effect bestaan als er meer variabelen worden toegevoegd? Een derde variabele? Hier kan
je een multiple regression voor gebruiken
Simple linear regression: Y1 = B0 + B1X1 + ei
Y = outcome = afhankelijk
X = predictor = onafhankelijk
Multiple lineair regression: heeft 1 uitkomstvariable en meerdere predictors: Y1 = B0 + B1X1 + B2X2 …. + ei
Om te kijken of je een goed statistisch model hebt kijk je naar 2 dingen:
1. De hoeveelheid verklaarde variantie (R2). Deze ligt aan de spreiding van de residuen
2. De helling (slope) van de regressielijn (B1). Verandering voor X zorgt voor verandering in Y
Het model: Y1 = B0 + B1X1 + B2X2 + ei
Y^ = voorspelling van de outcome. Nooit helemaal hetzelfde als de
geobserveerde score. Dakje geeft aan dat het om een voorspelde score gaat
B0 = het intercept
B1 = slope van x1 (b-waarde)
B2 = slope van x2 (b-waarde)
E = residu
^ = B0 + B1X1 + B2X2. …
Het statistische model: Y
Het statistische model wordt soms ook wel een additive linear model genoemd. Je voegt namelijk telkens extra
predictoren aan het model toe.
Variabelen kunnen verschillende meetniveaus hebben:
Categorical/qualitative (kun je meenemen als dummy variabelen)
- Nominal
- Ordinal
Continious/quantitave/numerical (MLR heeft dit meetniveau nodig)
- Interval
- Ratio
Een categorische variabele kun je dus meenemen als dummy. De waardes van een dummy zijn altijd 0 en 1.
FOUT: Y^ = B0 + B1Colour1
GOED: Y^ = B0 + B1Redi + B2Bluei + B3Greeni
Bij een hierarchical MLR doe je een opeenvolgende serie van MLR. Bijvoorbeeld wanneer er voor andere
variabelen is gecontroleerd. Je kijkt dat of de nieuwe variabelen wat opleveren. Is het 2e model beter dan het 1e?
Hypothese voor elk model:
, In de output kijken naar:
R2 VS Adjusted R2 (steekproef vs geschatte waarde van de populatie)
R2 VS R2-change (fit of model vs verbetering hierin vergeleken met het vorige model, alleen bij
hierarchical regression)
Op basis van deze tabellen kies je welk
model het beste is. Vervolgens wordt er
gekeken naar de tabel coefficients waarbij je
kijkt naar een bivariate correlatie (hoe heeft x
effect op y?). Daarnaast kan je kijken naar de
unieke bijdrage per predictor.
B VS Beta (ongestandaardiseerd vs
gestandaardiseerd). B geeft aan hoeveel X
toeneemt bij X=1. Met B is het echter
moeilijk te bepalen welke predictoren
meer/minder belangrijk zijn. Daarvoor kijk je
naar de gestandaardiseerde score Beta. De
hoogste Beta geeft aan welke het meest
belangrijk is (mits significant).
Statistische inferentie is gebaseerd op veel assumpties. Schending van deze assumpties leiden tot incorrecte
resultaten (verkeerde p-waardes of verkeerde betrouwbaarheidsintervallen).
Assumpties multiple regression:
Meetniveau: afhankelijke variabele is continiu
