Wanneer is regressie handig en zinvol?
Je kunt regressie gebruiken om een populatie te omschrijven: een goed te interpreteren overzicht
van de populatie. Zo kunnen we scores op een variabele voorspellen aan de hand van onafhankelijke
variabelen (voorspellers).
Wat is Ordinary Least Squares?
Dit is een methode om een enkelvoudige lineaire regressielijn te vinden (één onafhankelijke
variabele). Je voorspelt het gemiddelde van y voor elke x-waarde (conditionele voorspelling).
Voor elke waarde van x heb je een waarde y en de voorspelde waarde ŷ. Voor elke waarneming kun
je uitrekenen hoe groot het residu is (de verticale afstand tussen de waargenomen en voorspelde
waarde van y). Bij OLS wil je de optelsom van de gekwadrateerde residuen zo klein mogelijk hebben.
Formules:
b = regressiecoëfficiënt (helling), de correlatie van x en y vermenigvuldigen met de standaarddeviatie
van y gedeeld door de standaarddeviatie van x
a = het gemiddelde van y min de helling vermenigvuldigd met het gemiddelde van x
Wat zijn de assumpties van regressie?
Assumpties van enkelvoudige lineaire regressie:
1. Lineariteit: er is een lineaire relatie tussen x en het gemiddelde van y
2. Homoscedasticiteit: de subpopulaties van elke waarde van x zijn normaal verdeeld
met een gelijke variantie (de spreiding van residuen rondom de regressielijn is
ongeveer gelijk)
3. Onafhankelijkheid van residuen: de residuen zijn onafhankelijk van de waarde van x
(geen patroon te ontdekken in een scatterplot met residuen)
1
, Waarom gebruiken we multipele lineaire regressie bij meerdere onafhankelijke
variabelen, in plaats van een aantal enkelvoudige lineaire regressie?
Voorbeeld multipele regressie:
We hebben nu meerdere onafhankelijke variabelen met regressiecoëfficiënten. b1 en b2 zijn partiële
regressiecoëfficiënten. Dus hun waardes zijn afhankelijk van de andere voorspellers in het model.
b1 is de partiële regressiecoëfficiënt voor y op x1, waarbij x2 ook aanwezig is in het model. b2 is de
partiële regressiecoëfficiënt voor y op x2, waarbij x1 ook aanwezig is in het model. Dus x2 bepaalt
ook voor een deel de waarde van b1, en x1 bepaalt ook voor een deel de waarde van b2. Er is dus
multicollineariteit: overlap tussen de voorspellers.
Als je twee regressiemodellen zou maken met maar één voorspeller, zou je niet dezelfde hellingen
krijgen als wanneer je beide voorspellers in één model hebt.
Hoe bereken je het intercept, de regressiecoëfficiënten, de (semi-)partiële correlaties, de
(adjusted) R², de F-test en de betrouwbaarheidsintervallen?
Het berekenen van het intercept en de (ongestandaardiseerde) regressiecoëfficiënten:
Het berekenen van de gestandaardiseerde regressiecoëfficiënten:
Hiervoor heb je dus de correlaties nodig tussen y, x1 en x2.
Vervolgens kun je de gestandaardiseerde regressiecoëfficiënten gebruiken om de
ongestandaardiseerde regressiecoëfficiënten uit te rekenen. Hiervoor heb je de standaarddeviaties
van x en y nodig. Het intercept bereken je vervolgens met de gemiddelden van x en y.
Het berekenen van R²:
Hiervoor heb je dus de correlaties tussen y, x1 en x2 nodig, of de gestandaardiseerde
regressiecoëfficiënten en de (zero order) correlaties tussen y en x1 en y en x2.
Het berekenen van R² a.d.h.v. een ANOVA-tabel:
2
, Dus Sum of Squares Model gedeeld door Sum of Squares Total.
R = de wortel van R² (dit is de correlatie tussen y en ŷ)
R² bij meerdere onafhankelijke variabelen:
Dus je moet alle gestandaardiseerde regressiecoëfficiënten vermenigvuldigen met de zero order
correlations van die variabele met y, en dit allemaal bij elkaar optellen.
De gestandaardiseerde partiële regressiecoëfficiënten voor deze formule bereken je zo:
Dus je hebt een tabel nodig met correlaties en een tabel met standardized coefficients (of
unstandardized om deze uit te rekenen).
Het berekenen van partiële correlatiecoëfficiënten:
Gekwadrateerde partiële correlatiecoëfficiënten:
Bij meerdere onafhankelijke variabelen:
Het berekenen van semi-partiële correlatiecoëfficiënten:
3
Je kunt regressie gebruiken om een populatie te omschrijven: een goed te interpreteren overzicht
van de populatie. Zo kunnen we scores op een variabele voorspellen aan de hand van onafhankelijke
variabelen (voorspellers).
Wat is Ordinary Least Squares?
Dit is een methode om een enkelvoudige lineaire regressielijn te vinden (één onafhankelijke
variabele). Je voorspelt het gemiddelde van y voor elke x-waarde (conditionele voorspelling).
Voor elke waarde van x heb je een waarde y en de voorspelde waarde ŷ. Voor elke waarneming kun
je uitrekenen hoe groot het residu is (de verticale afstand tussen de waargenomen en voorspelde
waarde van y). Bij OLS wil je de optelsom van de gekwadrateerde residuen zo klein mogelijk hebben.
Formules:
b = regressiecoëfficiënt (helling), de correlatie van x en y vermenigvuldigen met de standaarddeviatie
van y gedeeld door de standaarddeviatie van x
a = het gemiddelde van y min de helling vermenigvuldigd met het gemiddelde van x
Wat zijn de assumpties van regressie?
Assumpties van enkelvoudige lineaire regressie:
1. Lineariteit: er is een lineaire relatie tussen x en het gemiddelde van y
2. Homoscedasticiteit: de subpopulaties van elke waarde van x zijn normaal verdeeld
met een gelijke variantie (de spreiding van residuen rondom de regressielijn is
ongeveer gelijk)
3. Onafhankelijkheid van residuen: de residuen zijn onafhankelijk van de waarde van x
(geen patroon te ontdekken in een scatterplot met residuen)
1
, Waarom gebruiken we multipele lineaire regressie bij meerdere onafhankelijke
variabelen, in plaats van een aantal enkelvoudige lineaire regressie?
Voorbeeld multipele regressie:
We hebben nu meerdere onafhankelijke variabelen met regressiecoëfficiënten. b1 en b2 zijn partiële
regressiecoëfficiënten. Dus hun waardes zijn afhankelijk van de andere voorspellers in het model.
b1 is de partiële regressiecoëfficiënt voor y op x1, waarbij x2 ook aanwezig is in het model. b2 is de
partiële regressiecoëfficiënt voor y op x2, waarbij x1 ook aanwezig is in het model. Dus x2 bepaalt
ook voor een deel de waarde van b1, en x1 bepaalt ook voor een deel de waarde van b2. Er is dus
multicollineariteit: overlap tussen de voorspellers.
Als je twee regressiemodellen zou maken met maar één voorspeller, zou je niet dezelfde hellingen
krijgen als wanneer je beide voorspellers in één model hebt.
Hoe bereken je het intercept, de regressiecoëfficiënten, de (semi-)partiële correlaties, de
(adjusted) R², de F-test en de betrouwbaarheidsintervallen?
Het berekenen van het intercept en de (ongestandaardiseerde) regressiecoëfficiënten:
Het berekenen van de gestandaardiseerde regressiecoëfficiënten:
Hiervoor heb je dus de correlaties nodig tussen y, x1 en x2.
Vervolgens kun je de gestandaardiseerde regressiecoëfficiënten gebruiken om de
ongestandaardiseerde regressiecoëfficiënten uit te rekenen. Hiervoor heb je de standaarddeviaties
van x en y nodig. Het intercept bereken je vervolgens met de gemiddelden van x en y.
Het berekenen van R²:
Hiervoor heb je dus de correlaties tussen y, x1 en x2 nodig, of de gestandaardiseerde
regressiecoëfficiënten en de (zero order) correlaties tussen y en x1 en y en x2.
Het berekenen van R² a.d.h.v. een ANOVA-tabel:
2
, Dus Sum of Squares Model gedeeld door Sum of Squares Total.
R = de wortel van R² (dit is de correlatie tussen y en ŷ)
R² bij meerdere onafhankelijke variabelen:
Dus je moet alle gestandaardiseerde regressiecoëfficiënten vermenigvuldigen met de zero order
correlations van die variabele met y, en dit allemaal bij elkaar optellen.
De gestandaardiseerde partiële regressiecoëfficiënten voor deze formule bereken je zo:
Dus je hebt een tabel nodig met correlaties en een tabel met standardized coefficients (of
unstandardized om deze uit te rekenen).
Het berekenen van partiële correlatiecoëfficiënten:
Gekwadrateerde partiële correlatiecoëfficiënten:
Bij meerdere onafhankelijke variabelen:
Het berekenen van semi-partiële correlatiecoëfficiënten:
3
