College 2
Regressie: een manier om de waarde van een variabele door een andere variabele te
kunnen voorspellen. Het is een hypothetisch model van de relatie tussen twee variabelen.
Het is een lineair model en hierdoor gebruiken we de formule van een rechte lijn.
Rechte lijn: formule: b0 +/- b1 maal x
B1: regressie coëfficiënt (helling) en hangt af van de schaal van de variabelen. Het is
sy
de correlatie van xy maal de standaarddeviatie y / standaarddeviatie x: r xy
sx
B0: de intercept (waarde van y wanneer x=0) en is het punt waar de lijn de y-as
snijdt.
b-coëfficiënt: verandering in uitkomst is geassocieerd met de verandering in unit van de
voorspeller. De grootte hangt erg af van de schaal van de voorspeller: niet
gestandaardiseerd. Hierbij gaat het vooral over het maken van voorspellingen.
Beta-coëfficiënt: vertellen ons hetzelfde maar dan in standaarddeviatie, waardoor de
waarde niet schaal-afhankelijk is. De waardes kunnen dus vergeleken worden over studies of
over verschillende voorspellers: gestandaardiseerd. Hierbij gaat het vooral over het
vergelijken. De waardes worden weergegeven in z-scores.
Hoe goed is het model?
De regressielijn is alleen een model gebaseerd op de data, het zou kunnen dat het niet de
realiteit reflecteert. Om te kijken hoe goed het model bij de geobserveerde data aansluit
gebruiken we ANOVA. Kijkt naar de totale variantie (SSr) en deelt deze op in verbetering
door het model (SSm) en errorvariantie (SSR). Wanneer het model beter zou voorspellen dan
alleen het gemiddelde zou SSm veel groter zijn dan SSR -> F-waarde groter dan 1. Deze
waarde geeft aan hoeveel keer meer er verklaarde variantie is in vergelijking met
onverklaarde variantie.
Mean Squares (MS): gemiddelde waardes van de SS: SS/df.
DF model: aantal voorspellers
DF residuals: N - p – 1
b1
Om te kijken of een helling verschilt van 0 gebruik je een t test: t= . De p-waarde geeft
SEb 1
aan of de helling verschillend is van 0.
Standardized residuals: cases met een hoge voorspellende error: ver van de lijn af.
Mahalanobis distance: afstand van de andere cases op de x-as, dus alleen de onafhankelijke
variabele. Kijkt naar outlying cases in de dataset.
Cook’s distance: belangrijke cases. Je kijkt naar de invloed van een case op het model als
geheel. Waardes hoger dan 1 zorgen voor problemen. In een grafiek kan je ze herkennen
doordat ze de helling van de lijn zouden veranderen.
Multipele regressieanalyse: meer dan één voorspeller. Hierdoor kan je kijken naar
correlaties tussen meerdere voorspellers. Alle voorspellers zouden moeten correleren met
de uitkomstmaat maar niet met elkaar. Hierdoor kun je meer variantie van de afhankelijke
variabele verklaren.
Regressie: een manier om de waarde van een variabele door een andere variabele te
kunnen voorspellen. Het is een hypothetisch model van de relatie tussen twee variabelen.
Het is een lineair model en hierdoor gebruiken we de formule van een rechte lijn.
Rechte lijn: formule: b0 +/- b1 maal x
B1: regressie coëfficiënt (helling) en hangt af van de schaal van de variabelen. Het is
sy
de correlatie van xy maal de standaarddeviatie y / standaarddeviatie x: r xy
sx
B0: de intercept (waarde van y wanneer x=0) en is het punt waar de lijn de y-as
snijdt.
b-coëfficiënt: verandering in uitkomst is geassocieerd met de verandering in unit van de
voorspeller. De grootte hangt erg af van de schaal van de voorspeller: niet
gestandaardiseerd. Hierbij gaat het vooral over het maken van voorspellingen.
Beta-coëfficiënt: vertellen ons hetzelfde maar dan in standaarddeviatie, waardoor de
waarde niet schaal-afhankelijk is. De waardes kunnen dus vergeleken worden over studies of
over verschillende voorspellers: gestandaardiseerd. Hierbij gaat het vooral over het
vergelijken. De waardes worden weergegeven in z-scores.
Hoe goed is het model?
De regressielijn is alleen een model gebaseerd op de data, het zou kunnen dat het niet de
realiteit reflecteert. Om te kijken hoe goed het model bij de geobserveerde data aansluit
gebruiken we ANOVA. Kijkt naar de totale variantie (SSr) en deelt deze op in verbetering
door het model (SSm) en errorvariantie (SSR). Wanneer het model beter zou voorspellen dan
alleen het gemiddelde zou SSm veel groter zijn dan SSR -> F-waarde groter dan 1. Deze
waarde geeft aan hoeveel keer meer er verklaarde variantie is in vergelijking met
onverklaarde variantie.
Mean Squares (MS): gemiddelde waardes van de SS: SS/df.
DF model: aantal voorspellers
DF residuals: N - p – 1
b1
Om te kijken of een helling verschilt van 0 gebruik je een t test: t= . De p-waarde geeft
SEb 1
aan of de helling verschillend is van 0.
Standardized residuals: cases met een hoge voorspellende error: ver van de lijn af.
Mahalanobis distance: afstand van de andere cases op de x-as, dus alleen de onafhankelijke
variabele. Kijkt naar outlying cases in de dataset.
Cook’s distance: belangrijke cases. Je kijkt naar de invloed van een case op het model als
geheel. Waardes hoger dan 1 zorgen voor problemen. In een grafiek kan je ze herkennen
doordat ze de helling van de lijn zouden veranderen.
Multipele regressieanalyse: meer dan één voorspeller. Hierdoor kan je kijken naar
correlaties tussen meerdere voorspellers. Alle voorspellers zouden moeten correleren met
de uitkomstmaat maar niet met elkaar. Hierdoor kun je meer variantie van de afhankelijke
variabele verklaren.
