ARMS Tentamen 17 maart
,Week 1: Multiple linear regression
Hoorcollege 1
Simple linear regression is wanneer je een lineair verband hebt tussen één onafhankelijke
variabele en één afhankelijke variabele. Multiple linear regression is wanneer je twee of
meer onafhankelijke variabelen hebt en één afhankelijke variabele. We hebben het hier over
dit soort modellen:
Simple en multiple linear regression geven je een regressielijn die je de relatie toont tussen
je onafhankelijke variabele(n) en je afhankelijke variabele. Bij de regressielijn hoort uiteraard
een formulie. Die ziet er bijvoorbeeld zo uit: y=B❑0 + B❑1 ∙ X ❑1+ B ❑2 ∙ X ❑2+ B❑3 ∙ X ❑3 .
In deze formule is B0 het constante (de y-waarde bij X=0), BX is de correlatiecoëfficiënt van
de bijbehorende onafhankelijke variabele, die genoteerd staat als Xx. De correlatiecoëfficiënt
B staat in SPSS-tabellen vaak als ‘unstandardized coefficients B’ gemarkeerd. Wanneer je
eerste onafhankelijke variabele bijvoorbeeld ‘intelligentie’ is, en die een B van B=.205 heeft,
vul je dus .205 X ❑1in je formule in.
Er zijn twee typen variabelen: continue en categorische variabelen. Continue
variabelen zijn variabelen op interval of ratio meetniveau. Categorische variabelen zijn
variabelen op nominaal en ordinaal meetniveau. Bij multipele lineaire regressie moeten je
predictoren (onafhankelijke variabelen) continu zijn. Wil je dan toch een categorische
predictor gebruiken, moet je dummy coding toepassen.
Dummy coding is het omvormen van categorische tot nominale variabelen. Neem
bijvoorbeeld de categorische variabele sekse. Je creëert dan een dummy variable die je
bijvoorbeeld ‘sekse’ noemt. Je beslist dan dat mannen de waarde ‘0’ op deze variabele
krijgen en dat vrouwen de waarde ‘1’ op deze variabele krijgen. Voor elke participant heeft
de variabele ‘sekse’ dan de waarde 0 of 1 en dan is de variabele continu. Je kunt hem dan in
je regressieformule opnemen!
Er zijn ook variabelen met meer dan twee categorieën. Denk bijvoorbeeld aan de
variabele ‘kleur’. Je hebt dan categorieën als, rood, blauw, groen en geel. Dummy coding is
in dit geval iets gecompliceerder. Je maakt dan evenveel nieuwe dummy variables als (het
,aantal categorieën - 1). In het geval van kleur, met als categorieën rood, blauw, groen en
geel, maak je dus drie nieuwe variabelen. Elke variabele staat dan voor één kleur.
Bijvoorbeeld de variabele ‘rood’, waarop de kleur rood de waarde 1 krijgt en alle andere
kleuren de waarde 0. Dit doe je ook voor blauw en groen. Dan krijg je dit:
De reden waarom je geen variabele voor ‘geel’ maakt is omdat je indirect die variabele al
gemaakt hebt. Als iets of iemand namelijk driemaal de waarde 0 heeft op de variabelen
‘rood’, ‘blauw’ en ‘groen’, weet je dat er sprake moet zijn van de kleur geel.
Nu nog wat over het interpreteren van de SPSS-output van simple en multiple regression
analyses:
In de bovenstaande tabel zie je…
- R Square: de proportie verklaarde variantie door je model.
- Adjusted R Square: de proportie verklaarde variantie door je model, aangepast voor
de populatie.
- R Square Change: het verschil tussen de R Square van verschillende modellen met
een significantietest. (Verschillende modellen betekent met verschillende predictoren,
in het onderschrift onder de eerste tabel zie je welke predictoren dit zijn.)
, In de bovenstaande tabel zie je…
- B: de B waarde zoals eerder besproken. Wanneer je een regressieformule moet
opstellen, pak je uit deze kolom de B waarden. De regressiecoëfficiënt van leeftijd is
bijvoorbeeld -1.135. Deze predictor is echter in het tweede model niet significant.
- Beta: Beta is een gestandaardiseerde coëfficiënt die aangeeft welke predictor het
belangrijkste is. In het eerste model is dit years of education en in het tweede model
is dit supported by spouse.
- Sig.: de p-waarde. Is deze waarde onder .05, is je predictor significant. In het tweede
model is dus enkel years of education en supported by spouse significant.
Stof uit Grasple
Multipele regressie heeft een aantal voorwaarden:
- De onafhankelijke variabele is continu.
- Er is een lineair verband tussen de onafhankelijke variabele en de afhankelijke
variabele.
- Er mogen geen uitschieters in de data zijn.
- De residuen zijn normaal verdeeld.
- Afwezigheid van multicollineariteit.
- Homoscedasticiteit. (de varianties van de residuen moeten aan elkaar gelijk zijn)
Of er uitschieters aanwezig zijn op de X-as wordt getest met de Mahalanobis distance. Een
uitschieter op de X-as is een extreme score op een (combinatie van) predictor(en). De
Mahalanobis distance moet kleiner zijn dan 10+2 ∙(aantal predictoren). Bij vier predictoren
moet de Mahalanobis distance dus kleiner zijn dan 18.
Uitschieters in de XY ruimte kun je testen met Cook’s distance. Uitschieters in de XY-
ruimte zijn uitschieters op een combinatie van van variabelen (onafhankelijk en afhankelijk).
Cook’s distance maakt een schatting van hoeveel invloed één respondent op het gehele
model heeft en de vuistregel is dat Cook’s distance lager dan één moet zijn.
Multicollineariteit is wanneer twee onafhankelijke variabelen té sterk correleren. De
vuistregel is dat we spreken van multicollineariteit bij een correlatie van >.80 tussen twee
onafhankelijke variabelen. Zo’n hoge correlatie leidt tot een onbetrouwbare
regressiecoëfficiënt B en dit limiteert de grootte van R. Daarnaast kun je dan geen
uitspraken doen over het individuele belang van predictoren. Niet doen dus.
,Week 1: Multiple linear regression
Hoorcollege 1
Simple linear regression is wanneer je een lineair verband hebt tussen één onafhankelijke
variabele en één afhankelijke variabele. Multiple linear regression is wanneer je twee of
meer onafhankelijke variabelen hebt en één afhankelijke variabele. We hebben het hier over
dit soort modellen:
Simple en multiple linear regression geven je een regressielijn die je de relatie toont tussen
je onafhankelijke variabele(n) en je afhankelijke variabele. Bij de regressielijn hoort uiteraard
een formulie. Die ziet er bijvoorbeeld zo uit: y=B❑0 + B❑1 ∙ X ❑1+ B ❑2 ∙ X ❑2+ B❑3 ∙ X ❑3 .
In deze formule is B0 het constante (de y-waarde bij X=0), BX is de correlatiecoëfficiënt van
de bijbehorende onafhankelijke variabele, die genoteerd staat als Xx. De correlatiecoëfficiënt
B staat in SPSS-tabellen vaak als ‘unstandardized coefficients B’ gemarkeerd. Wanneer je
eerste onafhankelijke variabele bijvoorbeeld ‘intelligentie’ is, en die een B van B=.205 heeft,
vul je dus .205 X ❑1in je formule in.
Er zijn twee typen variabelen: continue en categorische variabelen. Continue
variabelen zijn variabelen op interval of ratio meetniveau. Categorische variabelen zijn
variabelen op nominaal en ordinaal meetniveau. Bij multipele lineaire regressie moeten je
predictoren (onafhankelijke variabelen) continu zijn. Wil je dan toch een categorische
predictor gebruiken, moet je dummy coding toepassen.
Dummy coding is het omvormen van categorische tot nominale variabelen. Neem
bijvoorbeeld de categorische variabele sekse. Je creëert dan een dummy variable die je
bijvoorbeeld ‘sekse’ noemt. Je beslist dan dat mannen de waarde ‘0’ op deze variabele
krijgen en dat vrouwen de waarde ‘1’ op deze variabele krijgen. Voor elke participant heeft
de variabele ‘sekse’ dan de waarde 0 of 1 en dan is de variabele continu. Je kunt hem dan in
je regressieformule opnemen!
Er zijn ook variabelen met meer dan twee categorieën. Denk bijvoorbeeld aan de
variabele ‘kleur’. Je hebt dan categorieën als, rood, blauw, groen en geel. Dummy coding is
in dit geval iets gecompliceerder. Je maakt dan evenveel nieuwe dummy variables als (het
,aantal categorieën - 1). In het geval van kleur, met als categorieën rood, blauw, groen en
geel, maak je dus drie nieuwe variabelen. Elke variabele staat dan voor één kleur.
Bijvoorbeeld de variabele ‘rood’, waarop de kleur rood de waarde 1 krijgt en alle andere
kleuren de waarde 0. Dit doe je ook voor blauw en groen. Dan krijg je dit:
De reden waarom je geen variabele voor ‘geel’ maakt is omdat je indirect die variabele al
gemaakt hebt. Als iets of iemand namelijk driemaal de waarde 0 heeft op de variabelen
‘rood’, ‘blauw’ en ‘groen’, weet je dat er sprake moet zijn van de kleur geel.
Nu nog wat over het interpreteren van de SPSS-output van simple en multiple regression
analyses:
In de bovenstaande tabel zie je…
- R Square: de proportie verklaarde variantie door je model.
- Adjusted R Square: de proportie verklaarde variantie door je model, aangepast voor
de populatie.
- R Square Change: het verschil tussen de R Square van verschillende modellen met
een significantietest. (Verschillende modellen betekent met verschillende predictoren,
in het onderschrift onder de eerste tabel zie je welke predictoren dit zijn.)
, In de bovenstaande tabel zie je…
- B: de B waarde zoals eerder besproken. Wanneer je een regressieformule moet
opstellen, pak je uit deze kolom de B waarden. De regressiecoëfficiënt van leeftijd is
bijvoorbeeld -1.135. Deze predictor is echter in het tweede model niet significant.
- Beta: Beta is een gestandaardiseerde coëfficiënt die aangeeft welke predictor het
belangrijkste is. In het eerste model is dit years of education en in het tweede model
is dit supported by spouse.
- Sig.: de p-waarde. Is deze waarde onder .05, is je predictor significant. In het tweede
model is dus enkel years of education en supported by spouse significant.
Stof uit Grasple
Multipele regressie heeft een aantal voorwaarden:
- De onafhankelijke variabele is continu.
- Er is een lineair verband tussen de onafhankelijke variabele en de afhankelijke
variabele.
- Er mogen geen uitschieters in de data zijn.
- De residuen zijn normaal verdeeld.
- Afwezigheid van multicollineariteit.
- Homoscedasticiteit. (de varianties van de residuen moeten aan elkaar gelijk zijn)
Of er uitschieters aanwezig zijn op de X-as wordt getest met de Mahalanobis distance. Een
uitschieter op de X-as is een extreme score op een (combinatie van) predictor(en). De
Mahalanobis distance moet kleiner zijn dan 10+2 ∙(aantal predictoren). Bij vier predictoren
moet de Mahalanobis distance dus kleiner zijn dan 18.
Uitschieters in de XY ruimte kun je testen met Cook’s distance. Uitschieters in de XY-
ruimte zijn uitschieters op een combinatie van van variabelen (onafhankelijk en afhankelijk).
Cook’s distance maakt een schatting van hoeveel invloed één respondent op het gehele
model heeft en de vuistregel is dat Cook’s distance lager dan één moet zijn.
Multicollineariteit is wanneer twee onafhankelijke variabelen té sterk correleren. De
vuistregel is dat we spreken van multicollineariteit bij een correlatie van >.80 tussen twee
onafhankelijke variabelen. Zo’n hoge correlatie leidt tot een onbetrouwbare
regressiecoëfficiënt B en dit limiteert de grootte van R. Daarnaast kun je dan geen
uitspraken doen over het individuele belang van predictoren. Niet doen dus.
