1. Multipele Regressie – Het lineare model
Veel wetenschappelijk onderzoek wil oplossingen vinden voor problemen in de samenleving.
Als we veel factoren vinden, invloeden op een probleem, dan neem je een analysetechniek waarbij al
deze kenmerken in 1 keer worden beoordeeld. Het bepalen van deze relatie helpt het gedrag van de
ene variabele ten opzichte van de andere te begrijpen en te voorspellen.
Voorbeeld: Afhankelijke variabele onderwijsachterstand, met meerdere mogelijke
predictoren/voorspellers zoals: opvoeding, kind, school en thuissituatie.
Hier wordt vaak multipele regressie voor gebruikt.
‘’Kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere kenmerken?’’
Doelen van regressie:
Beschrijven relaties in variabelen in steekproef
Toetsen hypotheses (significantie)
Kwantificeren van relaties (effectgrootte)
Kwalificeren van relaties (klein, middel, groot)
Beoordelen relevantie relaties (Subjectief)
Voorspellen van iemands waarde met het regressiemodel (puntschatting en intervalschatting)
-> Let op, doe geen uitspraken over causaliteit. Multipele regressie valt vaak onder correlationeel
onderzoek.
Het verschil met een enkele regressie zit in het aantal variabelen. Enkele regressie test alleen de
invloed van een enkele variabel.
We willen de theoretische constructen operationaliseren, om er variabelen van te maken.
Kind kan je bijvoorbeeld terugbrengen tot: intelligentie, leeftijd, sekse, gezondheid -> Schoolprestatie
Padmodel voor multipele regressie, een overzicht:
1 Afhankelijke variabele Y, en een verzameling van Xen, predictoren.
padmodel: Interval/ratio is de X zonder streepje, X met een streepje is hier een dichotome variabele.
In multipele regressie gebruik je interval, ratio, of een dichotome variabele (2 categorieën).
Bij een dichotome variabele is groep 0 de referentiecategorie.
! Nominaal met meer dan 2 categorieën, zoals etniciteit past niet in een multipele regressie!
Enkel wanneer je een variabele om gaat bouwen tot twee categorieën en er dus een dichotome van
maakt.
Een goed verklaringsmodel stelt ons in staat dingen te kunnen voorspellen. Het doel is vaak een
goed verklaringsmodel gebruiken om dingen voorspellen voor mensen die niet in het onderzoek
zaten.
,Om dit te krijgen gaan we in een steekproef statistisch toetsen welke relatie er bestaat.
Variabelen in ons voorbeeld, verwerkt statistisch programma:
‘’Read’’: kennis literatuur respondent (Y)
Fath_rd: Kennis literatuur vader (X1)
Moth_rd: Kennis literatuur moeder (X2) etc.
Meetniveau variabelen bij multipele regressie
-> Er moet opgelet worden bij het operationaliseren of het wel interval, ratio of dichotoom wordt.
NOIR: Nominaal, ordinaal, interval, ratio.
Afhankelijke variabele Y: Interval of ratio
Onafhankelijke variabele X:
-Interval, ratio
-Categorisch kenmerk met twee categorieën/nominaal met twee categorieën: Dichotoom (zoals
sekse, of opleiding waar 2 opties zijn)
-Categorisch kenmerk met meer dan twee categorieën omgezet in twee categorieën:
Dummyvariabele (zoals etnische achtergrond)
Regressiemodel
Dit kan opgeschreven worden als een vergelijking.
Dit doe je voor Y = de geobserveerde variabele. Als het goed is kan je een gedeelte van Y verklaren
met een model, met een stukje voorspellingsfout.
Uitkomst (Y) = Model (X) + voorspellingsfout
Y = b0 + b1 · X + error
Model: Linear regressiemodel: rechtlijnige relaties worden voorspeld.
Voorspellingsfout: het residu.
Vergelijking voor de geschatte Y, (Ŷ):
Deze kunnen we gebruiken als we kennis hebben van de X-variabelen (zoals hoogte van
literatuurkennis vader)
Ŷ = Model (X)
Ŷ = b0 + b1 · X1
Verschil tussen Y en Y dakje, Y- Ŷ. = voorspellingsfout/residu.
Wanneer E, de error/voorspellingsfout heel groot is, is veel van de
variantie in Y onverklaard.
Een vergelijking van Y wanneer je 6 predictoren hebt:
Y = Bo + B1 · X1 + …. + B6 · X6 + E
Y = afhankelijke variabele (dependent)
X = Onafhankelijke variabelen (predictors)
B0 = Intercept (constant) ook wel a
B1 = Regressiecoëfficient (slope)
E = Voorspellingsfout (error of residual)
De B-coëfficienten zeggen iets over de relatie tussen X en Y. Het geeft een getalletje van hoeveel Y
,zal veranderen als X 1 stap verandert. Hoe die slope zal gaan lopen.
Variatie verklaren: Spreiding in scores is te bekijken via een spreidingsdiagram.
In een spreidingsdiagram wordt de best passende lijn door een puntenwolk getrokken.
De lijn bestaat uit het intercept of contstante (b0), dit is het begin van de lijn. De intercept begint
wanneer X 0 is, waar Y dan is. Het startpunt van de lijn.
En de regressiecoëfficieënt (b1), deze geeft aan hoeveel er per eenheid naar rechts erbij komt op Y.
De verandering in Y bij een toename in één eenheid in X.
Ŷ = b0 + b1 · X1
We gaan de individuele invloed van predictoren door te kijken naar B-coëfficiënten. Een b die 0 is
heeft blijkbaar geen invloed. (horizontale lijn)
De best passende lijn wordt gekozen met het
kleinste kwadraten criterium;
We willen een lijn waar de voorspellingsfout
minimaal is, zo klein mogelijk.
Nauwkeuriger kunnen we beter mee
voorspellen, dan kunnen we werkelijke
waardes beter representeren.
Positief residu + is alles boven de lijn:
Dan onderschat het model, de lijn jouw
werkelijke score.
,Negatief residu - is alles onder de lijn:
Dan overschat het model/de lijn de werkelijke score
, Goodness-of-fit: De kwaliteit van het model –
hoe goed is mijn model? Het beste model is waar
de residuele kwadratensom laag is.
Maar hoe goéd is dat dan?
Goodness of fit is R 2 > Dit vergelijkt het linear
model (regressielijn) met basismodel (basislijn)
SST (SS total) = SSM + SSR
SS=Sum of Squares (som van gekwadrateerde
deviaties) De optelling van alle voorspellingsfouten.
Dit is de totale voorspellingsfout bij gebruik van het
gemiddelde.
SST = Alle spreiding rondom het gemiddelde. Totale
kwadratensom rondom het basismodel streepje
gemiddelde. De afstand ten opzichte van het
basismodel: t = totale deviatie
SSM = kwadratensom van rechte lijn (model). De
fout die over blijft wanneer het lineare model
gebruikt wordt. m = verklaarde deel
SSR = kwadratensom van voorspellingsfout Welk
stukje fout blijft over na gebruik model. r = residual
Dus Totale deviatie = de fout die overblijft na gebruik model ten opzichte van het basismodel + Fout
na gebruik model, voorspellingsfout
Het basismodel: het gemiddelde van Y zonder gebruik te maken van predictoren (het basismodel is
dus het gemiddelde)
R2:
- Kwadratensom van model gedeeld door totale kwadratensom
- Proportie door X verklaarde variantie in Y door een linear model. Deze waarde ligt tussen 0 en 1.
1=perfecte verklaarde variatie in het model, geen residuen.
0=niet te gebruiken model, de lineaire lijn loopt precies gelijk aan de basislijn. (horizontale lijn)
Multipele correlatiecoëfficiënt R: de correlatie tussen geobserveerde Y en Ŷ.
-> Geeft aan hoe goed porportie in Y verklaarde variantie door het model verklaart kan worden.
-> Wordt soms determinatiecoëfficiënt R2 genoemd.
‘’Dit hoef je niet uit te kunnen rekenen, het kan wel dat je SSM:SST moet delen om R2 te krijgen..
Maar deze kwadratensommen haal je dan uit SPSS. Als je iets moet kunnen uitrekenen gaan we dat
oefenen.’’
Veel wetenschappelijk onderzoek wil oplossingen vinden voor problemen in de samenleving.
Als we veel factoren vinden, invloeden op een probleem, dan neem je een analysetechniek waarbij al
deze kenmerken in 1 keer worden beoordeeld. Het bepalen van deze relatie helpt het gedrag van de
ene variabele ten opzichte van de andere te begrijpen en te voorspellen.
Voorbeeld: Afhankelijke variabele onderwijsachterstand, met meerdere mogelijke
predictoren/voorspellers zoals: opvoeding, kind, school en thuissituatie.
Hier wordt vaak multipele regressie voor gebruikt.
‘’Kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere kenmerken?’’
Doelen van regressie:
Beschrijven relaties in variabelen in steekproef
Toetsen hypotheses (significantie)
Kwantificeren van relaties (effectgrootte)
Kwalificeren van relaties (klein, middel, groot)
Beoordelen relevantie relaties (Subjectief)
Voorspellen van iemands waarde met het regressiemodel (puntschatting en intervalschatting)
-> Let op, doe geen uitspraken over causaliteit. Multipele regressie valt vaak onder correlationeel
onderzoek.
Het verschil met een enkele regressie zit in het aantal variabelen. Enkele regressie test alleen de
invloed van een enkele variabel.
We willen de theoretische constructen operationaliseren, om er variabelen van te maken.
Kind kan je bijvoorbeeld terugbrengen tot: intelligentie, leeftijd, sekse, gezondheid -> Schoolprestatie
Padmodel voor multipele regressie, een overzicht:
1 Afhankelijke variabele Y, en een verzameling van Xen, predictoren.
padmodel: Interval/ratio is de X zonder streepje, X met een streepje is hier een dichotome variabele.
In multipele regressie gebruik je interval, ratio, of een dichotome variabele (2 categorieën).
Bij een dichotome variabele is groep 0 de referentiecategorie.
! Nominaal met meer dan 2 categorieën, zoals etniciteit past niet in een multipele regressie!
Enkel wanneer je een variabele om gaat bouwen tot twee categorieën en er dus een dichotome van
maakt.
Een goed verklaringsmodel stelt ons in staat dingen te kunnen voorspellen. Het doel is vaak een
goed verklaringsmodel gebruiken om dingen voorspellen voor mensen die niet in het onderzoek
zaten.
,Om dit te krijgen gaan we in een steekproef statistisch toetsen welke relatie er bestaat.
Variabelen in ons voorbeeld, verwerkt statistisch programma:
‘’Read’’: kennis literatuur respondent (Y)
Fath_rd: Kennis literatuur vader (X1)
Moth_rd: Kennis literatuur moeder (X2) etc.
Meetniveau variabelen bij multipele regressie
-> Er moet opgelet worden bij het operationaliseren of het wel interval, ratio of dichotoom wordt.
NOIR: Nominaal, ordinaal, interval, ratio.
Afhankelijke variabele Y: Interval of ratio
Onafhankelijke variabele X:
-Interval, ratio
-Categorisch kenmerk met twee categorieën/nominaal met twee categorieën: Dichotoom (zoals
sekse, of opleiding waar 2 opties zijn)
-Categorisch kenmerk met meer dan twee categorieën omgezet in twee categorieën:
Dummyvariabele (zoals etnische achtergrond)
Regressiemodel
Dit kan opgeschreven worden als een vergelijking.
Dit doe je voor Y = de geobserveerde variabele. Als het goed is kan je een gedeelte van Y verklaren
met een model, met een stukje voorspellingsfout.
Uitkomst (Y) = Model (X) + voorspellingsfout
Y = b0 + b1 · X + error
Model: Linear regressiemodel: rechtlijnige relaties worden voorspeld.
Voorspellingsfout: het residu.
Vergelijking voor de geschatte Y, (Ŷ):
Deze kunnen we gebruiken als we kennis hebben van de X-variabelen (zoals hoogte van
literatuurkennis vader)
Ŷ = Model (X)
Ŷ = b0 + b1 · X1
Verschil tussen Y en Y dakje, Y- Ŷ. = voorspellingsfout/residu.
Wanneer E, de error/voorspellingsfout heel groot is, is veel van de
variantie in Y onverklaard.
Een vergelijking van Y wanneer je 6 predictoren hebt:
Y = Bo + B1 · X1 + …. + B6 · X6 + E
Y = afhankelijke variabele (dependent)
X = Onafhankelijke variabelen (predictors)
B0 = Intercept (constant) ook wel a
B1 = Regressiecoëfficient (slope)
E = Voorspellingsfout (error of residual)
De B-coëfficienten zeggen iets over de relatie tussen X en Y. Het geeft een getalletje van hoeveel Y
,zal veranderen als X 1 stap verandert. Hoe die slope zal gaan lopen.
Variatie verklaren: Spreiding in scores is te bekijken via een spreidingsdiagram.
In een spreidingsdiagram wordt de best passende lijn door een puntenwolk getrokken.
De lijn bestaat uit het intercept of contstante (b0), dit is het begin van de lijn. De intercept begint
wanneer X 0 is, waar Y dan is. Het startpunt van de lijn.
En de regressiecoëfficieënt (b1), deze geeft aan hoeveel er per eenheid naar rechts erbij komt op Y.
De verandering in Y bij een toename in één eenheid in X.
Ŷ = b0 + b1 · X1
We gaan de individuele invloed van predictoren door te kijken naar B-coëfficiënten. Een b die 0 is
heeft blijkbaar geen invloed. (horizontale lijn)
De best passende lijn wordt gekozen met het
kleinste kwadraten criterium;
We willen een lijn waar de voorspellingsfout
minimaal is, zo klein mogelijk.
Nauwkeuriger kunnen we beter mee
voorspellen, dan kunnen we werkelijke
waardes beter representeren.
Positief residu + is alles boven de lijn:
Dan onderschat het model, de lijn jouw
werkelijke score.
,Negatief residu - is alles onder de lijn:
Dan overschat het model/de lijn de werkelijke score
, Goodness-of-fit: De kwaliteit van het model –
hoe goed is mijn model? Het beste model is waar
de residuele kwadratensom laag is.
Maar hoe goéd is dat dan?
Goodness of fit is R 2 > Dit vergelijkt het linear
model (regressielijn) met basismodel (basislijn)
SST (SS total) = SSM + SSR
SS=Sum of Squares (som van gekwadrateerde
deviaties) De optelling van alle voorspellingsfouten.
Dit is de totale voorspellingsfout bij gebruik van het
gemiddelde.
SST = Alle spreiding rondom het gemiddelde. Totale
kwadratensom rondom het basismodel streepje
gemiddelde. De afstand ten opzichte van het
basismodel: t = totale deviatie
SSM = kwadratensom van rechte lijn (model). De
fout die over blijft wanneer het lineare model
gebruikt wordt. m = verklaarde deel
SSR = kwadratensom van voorspellingsfout Welk
stukje fout blijft over na gebruik model. r = residual
Dus Totale deviatie = de fout die overblijft na gebruik model ten opzichte van het basismodel + Fout
na gebruik model, voorspellingsfout
Het basismodel: het gemiddelde van Y zonder gebruik te maken van predictoren (het basismodel is
dus het gemiddelde)
R2:
- Kwadratensom van model gedeeld door totale kwadratensom
- Proportie door X verklaarde variantie in Y door een linear model. Deze waarde ligt tussen 0 en 1.
1=perfecte verklaarde variatie in het model, geen residuen.
0=niet te gebruiken model, de lineaire lijn loopt precies gelijk aan de basislijn. (horizontale lijn)
Multipele correlatiecoëfficiënt R: de correlatie tussen geobserveerde Y en Ŷ.
-> Geeft aan hoe goed porportie in Y verklaarde variantie door het model verklaart kan worden.
-> Wordt soms determinatiecoëfficiënt R2 genoemd.
‘’Dit hoef je niet uit te kunnen rekenen, het kan wel dat je SSM:SST moet delen om R2 te krijgen..
Maar deze kwadratensommen haal je dan uit SPSS. Als je iets moet kunnen uitrekenen gaan we dat
oefenen.’’
