Syllabus Statistische Methoden - tentamen 2
H8: Variantie analyse / ANOVA
• Variantieanalyse: toetsen of gemiddelden van meer dan twee onafhankelijke groepen gelijk zijn
↪ parametrische techniek: groepen worden onderscheiden op basis van een categorische variabele
↪ de onafhankelijke variabele of factor (groepsvariabele) → nominaal/ordinaal
↪ Afhankelijke variabele (toetsvariabele) → interval/ratio
↪ Nulhypothese is H0: μ1 = μ2 = μ3 = ... = μk
↪ Als de nulhypothese wordt verworpen is er tenminste één groep met een gemiddelde dat
significant verschilt van de overige groepen
8.1 Variantieanalyse: principe
• voor waarnemingen xi van elke groep j wordt groepsgemiddelde x̄j en stand.dev. sj berekend
↪ ook Grand Mean x̄T berekenen en totale standaarddeviatie sT
• Grand Mean ( x̄T ): totale gemiddelde van alle waarnemingen, ongeacht welke groep ze behoren
↪ groepen gelijk → steekproefgemiddelden verschillen niet veel (relatief dicht bij Grand Mean)
↪ H0 van gelijke gemiddelden niet verwerpen
↪ groepen verschillen → steekproefgemiddelden verschillen sterk (relatief ver van Grand Mean)
↪ H0 van gelijke gemiddelden verwerpen
↪ Grand Mean onderscheiden en steekproefgemiddelden: x̄1, x̄2, x̄3 …
• variantieanalyse voor toetsen of gemiddelden meerdere groepen gelijk zijn
↪ berekening gebaseerd op variatie van de waarnemingen, gebruik maken van kwadraatsommen
• Kwadraatsommen (sums of squares): som van gekwadrateerde afwijkingen van alle
waarnemingen ten opzichte van het gemiddelde
↪ Totale kwadraatsom (Sum of Squares Total, SST): variatie van alle waarnemingen in de steekproef.
Som van de gekwadrateerde afwijkingen van alle waarnemingen xi ten opzichte van het totale
gemiddelde x̄T (Grand Mean). Uit te splitsen in twee componenten
↪ Tussenkwadraatsom (Sum of Squares Between, SSB): som van gekwadrateerde
afwijkingen van alle groepsgemiddelden ten opzichte van het totale gemiddelde, gewogen
voor het aantal waarnemingen in elke groep. Geeft de verschillen tussen de groepen aan
↪ groepen verschillen → groepsgemiddelden verschillen → kwadraatsom groot
(groot deel van totale variatie dan statistisch verklaard door groepsindeling)
↪ Binnenkwadraatsom (Sum of Squares Within, SSW): som van gekwadrateerde afwijkingen
van alle waarnemingen ten opzichte van hun groepsgemiddelde. Spreiding van
waarnemingen binnen iedere groep. De ruis (error), ofwel de variatie die niet wordt
veroorzaakt door verschillen tussen de groepen (; onverklaarde variatie)
• Mean Square (MS) / variantie: door kwadraatsommen (‘variatie’) te delen door hun vrijheidsgraden
↪ totale vrijheidsgraden is df=k-1 vrijheidsgraden binnen- + tussenvariantie=totaal
• Toetsingsgrootheid F: nulhypothese variantieanalyse getoetst met F-toets. Verhouding van de
tussen- en binnenkwadraatsom
↪ F-waarde relatief groot → merendeel van variantie veroorzaakt door verschillende tussen de
groepen MSB > MSW → nulhypothese verwerpen dat groepsgemiddelden gelijk zijn
↪ F-waarde relatief klein → aanzienlijk deel van variantie veroorzaakt door verschillen binnen de
groepen → nulhypothese niet verwerpen
1
,• 1) Vooronderstellingen variantieanalyse (niet voldaan → niet parametrische toets; Kruskal-Wallis)
↪ steekproeven (groepen) zijn aselect en onafhankelijk
↪ groepen worden onderscheiden op basis van een categorische variabele (kwalitatief)
↪ toetsvariabele heeft een interval- of ratioschaal
↪ toetsvariabele is normaal verdeeld voor iedere groep
↪ groepen ongeveer even groot (mag ook minder dan 30), als niet even groot dan:
↪ ni ≥ 30 (centrale limiet stelling) → normaal verdeeld
↪ ni <30 → controleren door visuele inspectie (histogram/boxplot), toetsing op skewness en
kurtosis en de Shapiro-Wilk test
↪ populaties van alle groepen hebben gelijke varianties (homogeniteit)
↪ groepen ongeveer even groot, als niet even groot dan:
↪ handmatig: vuistregel grootste gedeeld door kleinste steekproefvariantie Fmax < 4
↪ SPSS: Levene’s test met Homogeneity of variance test
• 2) hypothesen
↪ H0: μ1 = μ2 = μ3 = … (geen significant verschil)
↪ HA: populatiegemiddelden zijn niet allemaal gelijk (wel significant verschil)
↪ H0 verworpen als ten minste 1 groepsgemiddelde verschilt van de overigen
• 3) significantieniveau en kritiek gebied
Variantieanalyse zelf tweezijdige toets.
↪ significantieniveau α = 0,05 Maar toetsingsgrootheid F wordt
↪ toetsings.gr F altijd éénzijdige verdeling, met kritiek gebied rechts F ≥ Fkritiek berekend met kwadraat, dan krijg je
positieve getallen en dus één kant van de
kritieke F waarde in tabel E → Fkr waarde bij df1=k-1 en df2=n-k verdeling (dus éénzijdig)
↪ n=totale steekproefomvang, k=aantal onderscheiden groepen)
8.2 Toetsingsprocedure 7: Variantieanalyse
histogram/boxplot/statistische
maten
20 kiezen want grootste F
waarde (meest veilig)
5% minst wss
uitkomsten altijd
aan één kant
(75% kan dus niet verklaard worden, hieraan liggen andere
oorzaken ten grondslag)
- tussenvariantie (MS B) groot → verschillen tussen groepen
groot → F groot getal → H0 verwerpen
- binnenvariantie (MSW) groot → F klein getal → H0 niet verwerpen
(want F=4,6 is hoger dan Fkr=3,49)
2
, 8.3 Variantieanalyse met SPSS
weer kijken naar Sig (p-waarde/overschrijdingskans)
tussen welke waarden ligt
het verschil met 96% betr.
Sig (p-waarde/overschr.) ≤ 0,05 → deze groepen verschillen dan significant (H0 = 0 ligt dan niet in betr. interval)
• Variantieanalyse in SPSS; Compare Means → One-way ANOVA
↪ 1) statistische maten nodig voor beeld van kernmerken steekproeven (Options → Descriptives)
↪ 2) controle op normaliteit (groepen even groot of ni ≥ 30)
↪ 3) controle op homogeniteit (groepen even groot of Options → Levene’s test)
↪ 4) ANOVA-tabel; uitvoertabel
↪ kijken naar p-waarde (Sig.) p≤0,05 → H0 verwerpen met 95% betrouwbaarheid
• Effect size: met opdracht One-way ANOVA is het niet mogelijk om Eta-squared te berekenen
↪ Handmatig: SSB / SST x 100%
↪ SPSS: Means → Options → Anova Table and Eta
• Post Hoc tests (Multiple Comparisons); erachter komen wélke groepen verschillen
↪ Bonferroni test; meest geschikt bij vergelijken van klein aantal groepen
↪ in uitvoertabel worden alle combinaties tegen elkaar afgezet
↪ kolom Mean Difference; verschil van de beide steekproefgemiddelden
↪ betrouwbaarheidsinterval; tussen welke waarden ware verschil van populaties ligt
↪ Sig. (p-waarde/overschr.) ≤ 0,05 → deze groepen verschillen dan significant
↪ Tukey’s HSD test; geschikt bij vergelijken veel groepen
3
H8: Variantie analyse / ANOVA
• Variantieanalyse: toetsen of gemiddelden van meer dan twee onafhankelijke groepen gelijk zijn
↪ parametrische techniek: groepen worden onderscheiden op basis van een categorische variabele
↪ de onafhankelijke variabele of factor (groepsvariabele) → nominaal/ordinaal
↪ Afhankelijke variabele (toetsvariabele) → interval/ratio
↪ Nulhypothese is H0: μ1 = μ2 = μ3 = ... = μk
↪ Als de nulhypothese wordt verworpen is er tenminste één groep met een gemiddelde dat
significant verschilt van de overige groepen
8.1 Variantieanalyse: principe
• voor waarnemingen xi van elke groep j wordt groepsgemiddelde x̄j en stand.dev. sj berekend
↪ ook Grand Mean x̄T berekenen en totale standaarddeviatie sT
• Grand Mean ( x̄T ): totale gemiddelde van alle waarnemingen, ongeacht welke groep ze behoren
↪ groepen gelijk → steekproefgemiddelden verschillen niet veel (relatief dicht bij Grand Mean)
↪ H0 van gelijke gemiddelden niet verwerpen
↪ groepen verschillen → steekproefgemiddelden verschillen sterk (relatief ver van Grand Mean)
↪ H0 van gelijke gemiddelden verwerpen
↪ Grand Mean onderscheiden en steekproefgemiddelden: x̄1, x̄2, x̄3 …
• variantieanalyse voor toetsen of gemiddelden meerdere groepen gelijk zijn
↪ berekening gebaseerd op variatie van de waarnemingen, gebruik maken van kwadraatsommen
• Kwadraatsommen (sums of squares): som van gekwadrateerde afwijkingen van alle
waarnemingen ten opzichte van het gemiddelde
↪ Totale kwadraatsom (Sum of Squares Total, SST): variatie van alle waarnemingen in de steekproef.
Som van de gekwadrateerde afwijkingen van alle waarnemingen xi ten opzichte van het totale
gemiddelde x̄T (Grand Mean). Uit te splitsen in twee componenten
↪ Tussenkwadraatsom (Sum of Squares Between, SSB): som van gekwadrateerde
afwijkingen van alle groepsgemiddelden ten opzichte van het totale gemiddelde, gewogen
voor het aantal waarnemingen in elke groep. Geeft de verschillen tussen de groepen aan
↪ groepen verschillen → groepsgemiddelden verschillen → kwadraatsom groot
(groot deel van totale variatie dan statistisch verklaard door groepsindeling)
↪ Binnenkwadraatsom (Sum of Squares Within, SSW): som van gekwadrateerde afwijkingen
van alle waarnemingen ten opzichte van hun groepsgemiddelde. Spreiding van
waarnemingen binnen iedere groep. De ruis (error), ofwel de variatie die niet wordt
veroorzaakt door verschillen tussen de groepen (; onverklaarde variatie)
• Mean Square (MS) / variantie: door kwadraatsommen (‘variatie’) te delen door hun vrijheidsgraden
↪ totale vrijheidsgraden is df=k-1 vrijheidsgraden binnen- + tussenvariantie=totaal
• Toetsingsgrootheid F: nulhypothese variantieanalyse getoetst met F-toets. Verhouding van de
tussen- en binnenkwadraatsom
↪ F-waarde relatief groot → merendeel van variantie veroorzaakt door verschillende tussen de
groepen MSB > MSW → nulhypothese verwerpen dat groepsgemiddelden gelijk zijn
↪ F-waarde relatief klein → aanzienlijk deel van variantie veroorzaakt door verschillen binnen de
groepen → nulhypothese niet verwerpen
1
,• 1) Vooronderstellingen variantieanalyse (niet voldaan → niet parametrische toets; Kruskal-Wallis)
↪ steekproeven (groepen) zijn aselect en onafhankelijk
↪ groepen worden onderscheiden op basis van een categorische variabele (kwalitatief)
↪ toetsvariabele heeft een interval- of ratioschaal
↪ toetsvariabele is normaal verdeeld voor iedere groep
↪ groepen ongeveer even groot (mag ook minder dan 30), als niet even groot dan:
↪ ni ≥ 30 (centrale limiet stelling) → normaal verdeeld
↪ ni <30 → controleren door visuele inspectie (histogram/boxplot), toetsing op skewness en
kurtosis en de Shapiro-Wilk test
↪ populaties van alle groepen hebben gelijke varianties (homogeniteit)
↪ groepen ongeveer even groot, als niet even groot dan:
↪ handmatig: vuistregel grootste gedeeld door kleinste steekproefvariantie Fmax < 4
↪ SPSS: Levene’s test met Homogeneity of variance test
• 2) hypothesen
↪ H0: μ1 = μ2 = μ3 = … (geen significant verschil)
↪ HA: populatiegemiddelden zijn niet allemaal gelijk (wel significant verschil)
↪ H0 verworpen als ten minste 1 groepsgemiddelde verschilt van de overigen
• 3) significantieniveau en kritiek gebied
Variantieanalyse zelf tweezijdige toets.
↪ significantieniveau α = 0,05 Maar toetsingsgrootheid F wordt
↪ toetsings.gr F altijd éénzijdige verdeling, met kritiek gebied rechts F ≥ Fkritiek berekend met kwadraat, dan krijg je
positieve getallen en dus één kant van de
kritieke F waarde in tabel E → Fkr waarde bij df1=k-1 en df2=n-k verdeling (dus éénzijdig)
↪ n=totale steekproefomvang, k=aantal onderscheiden groepen)
8.2 Toetsingsprocedure 7: Variantieanalyse
histogram/boxplot/statistische
maten
20 kiezen want grootste F
waarde (meest veilig)
5% minst wss
uitkomsten altijd
aan één kant
(75% kan dus niet verklaard worden, hieraan liggen andere
oorzaken ten grondslag)
- tussenvariantie (MS B) groot → verschillen tussen groepen
groot → F groot getal → H0 verwerpen
- binnenvariantie (MSW) groot → F klein getal → H0 niet verwerpen
(want F=4,6 is hoger dan Fkr=3,49)
2
, 8.3 Variantieanalyse met SPSS
weer kijken naar Sig (p-waarde/overschrijdingskans)
tussen welke waarden ligt
het verschil met 96% betr.
Sig (p-waarde/overschr.) ≤ 0,05 → deze groepen verschillen dan significant (H0 = 0 ligt dan niet in betr. interval)
• Variantieanalyse in SPSS; Compare Means → One-way ANOVA
↪ 1) statistische maten nodig voor beeld van kernmerken steekproeven (Options → Descriptives)
↪ 2) controle op normaliteit (groepen even groot of ni ≥ 30)
↪ 3) controle op homogeniteit (groepen even groot of Options → Levene’s test)
↪ 4) ANOVA-tabel; uitvoertabel
↪ kijken naar p-waarde (Sig.) p≤0,05 → H0 verwerpen met 95% betrouwbaarheid
• Effect size: met opdracht One-way ANOVA is het niet mogelijk om Eta-squared te berekenen
↪ Handmatig: SSB / SST x 100%
↪ SPSS: Means → Options → Anova Table and Eta
• Post Hoc tests (Multiple Comparisons); erachter komen wélke groepen verschillen
↪ Bonferroni test; meest geschikt bij vergelijken van klein aantal groepen
↪ in uitvoertabel worden alle combinaties tegen elkaar afgezet
↪ kolom Mean Difference; verschil van de beide steekproefgemiddelden
↪ betrouwbaarheidsinterval; tussen welke waarden ware verschil van populaties ligt
↪ Sig. (p-waarde/overschr.) ≤ 0,05 → deze groepen verschillen dan significant
↪ Tukey’s HSD test; geschikt bij vergelijken veel groepen
3
