Samenvatting Statistiek 2
Deeltentamen 2
Hoofdstuk 12 – Regressie met categorische predictoren: analyse van
variantiemethoden
12.1 – Regressiemodellering met dummyvariabelen
Een nominale categorische variabele kan behandeld worden als kwantitatieve variabele
(door scores toe te kennen), maar dit is meer geschikt voor het berekenen van gemiddelden
dan voor proporties. Om te voorkomen dat een model een bepaalde orde in de categorieën
veronderstelt, kan beter gebruik worden gemaakt van codevariabelen. Dit zijn kunstmatige
variabelen die een groepslidmaatschap aangeven.
Een categorische variabelen met 2 niveaus vereist een code variabele met 2 mogelijke
waarden. Bijvoorbeeld:
z i 1 als geslacht=man
{ 2 als geslacht =vrouw
Codevariabelen kunnen elke mogelijke waarde aannemen (dus niet alleen de waarde 1 of 2).
De test van het effect verandert niet met de gebruikte codering, maar de interpretatie van het
effect (bijv. via regressiecoëfficiënten of BHI’s) is wel afhankelijk van de gebruikte codering.
Het meest voorkomende coderingssysteem maakt gebruik van nullen en enen: het dummy
coderingssysteem. Bijvoorbeeld:
z i 0 als geslacht=man
{ 1 als geslacht =vrouw
De populatieregressielijn van een dummyvariabele op een code variabele z is:
Hierbij kan z alleen de waarden 0 en 1 aannemen.
2 groepen gedefinieerd door de waarden van z:
z i z 1 als persoon i∈groep 1 zit
{ z 2 als persoon i∈groep 2 zit
Als we dit invullen in de regressievergelijking krijgen we:
Groep 1:
Groep 2:
Het regressiemodel beschrijft dus hoe het populatiegemiddelde van y ( μ y ) afhangt van de
waarden van z. De waarden van z definiëren 2 subpopulaties waarbij y in beide groepen
normaal verdeeld is, de gemiddelden van de groepen μ1 en μ2 is, en σ constant is (zie de
afbeelding hierboven).
α en β kunnen als volgt geïnterpreteerd worden na het toepassen van het dummy
coderingssysteem:
Hierbij is μ1 het gemiddelde van de referentiegroep (de groep gecodeerd met nullen).
1
,Een ander coderingssysteem leidt tot andere parameters wat leidt tot andere interpretaties:
De independent samples t-test voor het testen van H 0 : β 1=0 is gelijk aan H 0 : μ1=μ2. De
toetsingsgrootheid die bij deze toets hoort is:
Hierbij is df =n1 +n2−2. Om te beslissen of H 0 verworpen moet
worden, vergelijk je t met t*. Als t > t*, dan wordt H 0 verworpen.
2
Hierbij is s p=¿
Het verschil tussen μ1 en μ2 kan ook getoetst worden m.b.v. regressie. Dit gebeurt in 4
stappen:
1. Er moet een codevariabele gecreëerd worden met bepaalde waarden
1 1
2. b 1= ý 2− ý 1 en SE b moeten berekend worden. Hierbij is SEb =sp
1
b1
1
√ +
n1 n2
3. De toetsingsgrootheid met t= moet uitgerekend worden
SE b 1
4. t wordt vergeleken met t* om te bepalen of H 0 verworpen moet worden
Over het algemeen vereist een categorische variabele met g niveaus (g – 1) codevariabelen.
Hierbij hebben de coderingen niet de waarden van bijv. 0, 1 en 2 omdat je bij categorische
variabelen met meer dan 2 niveaus niet mag aannemen dat de verschillen tussen de
waarden gelijk aan elkaar zijn.
Codevariabelen functioneren dus als groepsidentificatoren. Een voorbeeld van een
groepsindeling is:
Hierbij is z 1 de identificator voor groep 1, z 2 de identificator voor
groep 2 en z 3 de identificator voor groep 3. Groep 4 is de
referentiegroep.
De multipele regressievergelijking voor codevariabelen is:
Elke set waarden {z1, z2, z3} definieert een subpopulatie van y-waarden, normaal verdeeld
rond μ y met constante σ.
2
, De indeling van groepen op basis van het multipele regressiemodel is dan:
De gemiddelde waarden van de groepen zijn dan:
Hierbij is μ4 de referentiegroep.
De toetsen die bij het multipele regressiemodel van codevariabelen horen, zijn:
H 0 : μ1=μ2=... μ g of H 0 : β 1=β 2=... β g−1=0 of H 0 : R2=0
Om deze tests uit te voeren wordt de (omnibus ANOVA) F-test gebruikt:
Hierbij is p = aantal predictoren = g – 1.
Als F erg klein is, dan is de p-waarde erg groot en dan is het bewijs tegen H 0 ook erg groot.
Voor elk coderingssysteem is de F-test hetzelfde.
De F-toets is robuust als de populatieverdeling niet helemaal normaal verdeeld is en als de
standaarddeviaties niet helemaal hetzelfde zijn. Bij erg scheef verdeelde data werkt de
F-toets dus niet, daarom is de willekeurigheid van de steekproeven belangrijk.
12.2 – Meerdere vergelijkingen van gemiddelden
Wanneer de volgende nulhypothesen verworpen worden, geeft dit aan dat niet alle
groepsgemiddelden in de populatie gelijk aan elkaar zijn: H 0 : μ1=μ2=... μ g of
H 0 : β 1=β 2=... β g−1=0 of H 0 : R2=0 . Om te onderzoeken welke groepen van elkaar
verschillen, kan er gekeken worden naar visuele plots van de groepsgemiddelden met hun
spreiding. Ook kan dit onderzocht worden door statistische inferenties uit te voeren. Deze
statistische inferenties zijn nodig omdat er zonder deze inferenties een te grote overall error
rate (algemeen foutenpercentage) of experiment-wise error rate is. Dit is de kans op
tenminste 1 Type I fout in de reeks tests en wordt ook wel kanskapitalisatie genoemd. De
kans op het maken van een Type I fout neemt toe met het aantal uit te voeren tests.
Een voorbeeld van kanskapitalisatie:
Stel je hebt 6 tests, waarbij α = 5% voor elke test. Dan is de overall error rate:
1−P ( geen valse verwerping ) ≈ 1− ( 1−0.05 )6 =0.265. Er is dus een kans van 26% op
tenminste 1 valse verwerping.
Kanskapitalisatie kan door 2 inferentieprocedures vermeden worden:
1. Contrasten (geplande vergelijkingen)
Contrasten zijn hypothesen die men opstelt voorafgaand aan het verzamelen van data. Ze
worden ook wel lineaire combinaties van groepsgemiddelden genoemd. Het uitrekenen van
contrasten wordt hieronder uitgelegd aan de hand van een voorbeeld.
Stel je hebt een experiment met 3 groepen (groep 1 = behandeling 1, groep 2 = behandeling
2, groep 3 = controlegroep). Om te onderzoeken of behandeling 1 effectiever is dan
behandeling 2, moet de volgende test uitgevoerd worden: H 01 : μ1 =μ 2 vs. H a 1 : μ 1> μ 2. De
tweede stap is het herschrijven van de hypothesen op de volgende manier:
H 01 : μ1 −μ 2=0 vs. H a 1 : μ 1−μ2 >0. De derde stap is het herschrijven van deze hypothesen
zodat de lineaire combinaties te zien zijn: H 01 :1 μ1 + (−1 ) μ 2+ 0 μ 3=0. Contrast 1 (ψ 1) is dus
1 μ 1+ (−1 ) μ2 +0 μ3 met de coëfficiënten: 1, -1 en 0.
3
Deeltentamen 2
Hoofdstuk 12 – Regressie met categorische predictoren: analyse van
variantiemethoden
12.1 – Regressiemodellering met dummyvariabelen
Een nominale categorische variabele kan behandeld worden als kwantitatieve variabele
(door scores toe te kennen), maar dit is meer geschikt voor het berekenen van gemiddelden
dan voor proporties. Om te voorkomen dat een model een bepaalde orde in de categorieën
veronderstelt, kan beter gebruik worden gemaakt van codevariabelen. Dit zijn kunstmatige
variabelen die een groepslidmaatschap aangeven.
Een categorische variabelen met 2 niveaus vereist een code variabele met 2 mogelijke
waarden. Bijvoorbeeld:
z i 1 als geslacht=man
{ 2 als geslacht =vrouw
Codevariabelen kunnen elke mogelijke waarde aannemen (dus niet alleen de waarde 1 of 2).
De test van het effect verandert niet met de gebruikte codering, maar de interpretatie van het
effect (bijv. via regressiecoëfficiënten of BHI’s) is wel afhankelijk van de gebruikte codering.
Het meest voorkomende coderingssysteem maakt gebruik van nullen en enen: het dummy
coderingssysteem. Bijvoorbeeld:
z i 0 als geslacht=man
{ 1 als geslacht =vrouw
De populatieregressielijn van een dummyvariabele op een code variabele z is:
Hierbij kan z alleen de waarden 0 en 1 aannemen.
2 groepen gedefinieerd door de waarden van z:
z i z 1 als persoon i∈groep 1 zit
{ z 2 als persoon i∈groep 2 zit
Als we dit invullen in de regressievergelijking krijgen we:
Groep 1:
Groep 2:
Het regressiemodel beschrijft dus hoe het populatiegemiddelde van y ( μ y ) afhangt van de
waarden van z. De waarden van z definiëren 2 subpopulaties waarbij y in beide groepen
normaal verdeeld is, de gemiddelden van de groepen μ1 en μ2 is, en σ constant is (zie de
afbeelding hierboven).
α en β kunnen als volgt geïnterpreteerd worden na het toepassen van het dummy
coderingssysteem:
Hierbij is μ1 het gemiddelde van de referentiegroep (de groep gecodeerd met nullen).
1
,Een ander coderingssysteem leidt tot andere parameters wat leidt tot andere interpretaties:
De independent samples t-test voor het testen van H 0 : β 1=0 is gelijk aan H 0 : μ1=μ2. De
toetsingsgrootheid die bij deze toets hoort is:
Hierbij is df =n1 +n2−2. Om te beslissen of H 0 verworpen moet
worden, vergelijk je t met t*. Als t > t*, dan wordt H 0 verworpen.
2
Hierbij is s p=¿
Het verschil tussen μ1 en μ2 kan ook getoetst worden m.b.v. regressie. Dit gebeurt in 4
stappen:
1. Er moet een codevariabele gecreëerd worden met bepaalde waarden
1 1
2. b 1= ý 2− ý 1 en SE b moeten berekend worden. Hierbij is SEb =sp
1
b1
1
√ +
n1 n2
3. De toetsingsgrootheid met t= moet uitgerekend worden
SE b 1
4. t wordt vergeleken met t* om te bepalen of H 0 verworpen moet worden
Over het algemeen vereist een categorische variabele met g niveaus (g – 1) codevariabelen.
Hierbij hebben de coderingen niet de waarden van bijv. 0, 1 en 2 omdat je bij categorische
variabelen met meer dan 2 niveaus niet mag aannemen dat de verschillen tussen de
waarden gelijk aan elkaar zijn.
Codevariabelen functioneren dus als groepsidentificatoren. Een voorbeeld van een
groepsindeling is:
Hierbij is z 1 de identificator voor groep 1, z 2 de identificator voor
groep 2 en z 3 de identificator voor groep 3. Groep 4 is de
referentiegroep.
De multipele regressievergelijking voor codevariabelen is:
Elke set waarden {z1, z2, z3} definieert een subpopulatie van y-waarden, normaal verdeeld
rond μ y met constante σ.
2
, De indeling van groepen op basis van het multipele regressiemodel is dan:
De gemiddelde waarden van de groepen zijn dan:
Hierbij is μ4 de referentiegroep.
De toetsen die bij het multipele regressiemodel van codevariabelen horen, zijn:
H 0 : μ1=μ2=... μ g of H 0 : β 1=β 2=... β g−1=0 of H 0 : R2=0
Om deze tests uit te voeren wordt de (omnibus ANOVA) F-test gebruikt:
Hierbij is p = aantal predictoren = g – 1.
Als F erg klein is, dan is de p-waarde erg groot en dan is het bewijs tegen H 0 ook erg groot.
Voor elk coderingssysteem is de F-test hetzelfde.
De F-toets is robuust als de populatieverdeling niet helemaal normaal verdeeld is en als de
standaarddeviaties niet helemaal hetzelfde zijn. Bij erg scheef verdeelde data werkt de
F-toets dus niet, daarom is de willekeurigheid van de steekproeven belangrijk.
12.2 – Meerdere vergelijkingen van gemiddelden
Wanneer de volgende nulhypothesen verworpen worden, geeft dit aan dat niet alle
groepsgemiddelden in de populatie gelijk aan elkaar zijn: H 0 : μ1=μ2=... μ g of
H 0 : β 1=β 2=... β g−1=0 of H 0 : R2=0 . Om te onderzoeken welke groepen van elkaar
verschillen, kan er gekeken worden naar visuele plots van de groepsgemiddelden met hun
spreiding. Ook kan dit onderzocht worden door statistische inferenties uit te voeren. Deze
statistische inferenties zijn nodig omdat er zonder deze inferenties een te grote overall error
rate (algemeen foutenpercentage) of experiment-wise error rate is. Dit is de kans op
tenminste 1 Type I fout in de reeks tests en wordt ook wel kanskapitalisatie genoemd. De
kans op het maken van een Type I fout neemt toe met het aantal uit te voeren tests.
Een voorbeeld van kanskapitalisatie:
Stel je hebt 6 tests, waarbij α = 5% voor elke test. Dan is de overall error rate:
1−P ( geen valse verwerping ) ≈ 1− ( 1−0.05 )6 =0.265. Er is dus een kans van 26% op
tenminste 1 valse verwerping.
Kanskapitalisatie kan door 2 inferentieprocedures vermeden worden:
1. Contrasten (geplande vergelijkingen)
Contrasten zijn hypothesen die men opstelt voorafgaand aan het verzamelen van data. Ze
worden ook wel lineaire combinaties van groepsgemiddelden genoemd. Het uitrekenen van
contrasten wordt hieronder uitgelegd aan de hand van een voorbeeld.
Stel je hebt een experiment met 3 groepen (groep 1 = behandeling 1, groep 2 = behandeling
2, groep 3 = controlegroep). Om te onderzoeken of behandeling 1 effectiever is dan
behandeling 2, moet de volgende test uitgevoerd worden: H 01 : μ1 =μ 2 vs. H a 1 : μ 1> μ 2. De
tweede stap is het herschrijven van de hypothesen op de volgende manier:
H 01 : μ1 −μ 2=0 vs. H a 1 : μ 1−μ2 >0. De derde stap is het herschrijven van deze hypothesen
zodat de lineaire combinaties te zien zijn: H 01 :1 μ1 + (−1 ) μ 2+ 0 μ 3=0. Contrast 1 (ψ 1) is dus
1 μ 1+ (−1 ) μ2 +0 μ3 met de coëfficiënten: 1, -1 en 0.
3
