Samenvatting MVDA
Week 1: multipele regressie analyse
X1, X2 Y Techniek Afkorting
Interval Interva Multipele regressie analyse MRA
l
Nominaal Interva Variantie analyse ANOVA
l
Nominaal + Interva Covariantie analyse ANCOVA
interval l
Interval Binair Logistische regressie analyse LRA
Regressiemodel kan Y voorspeld worden uit X1 en X2? Wanneer ja, dan Y een lineaire functie van
X1 en X2. Simpele regressie: Y i=B0 + B1 X 1+ e i. Multipele regressie:
Y i=B0 + B1 X 1+ B 2 X 2 +…+ B k X k + ei . Een populatiewaarde geef je aan met *. Parameters* schat je
met “kleinste kwadratenprincipe”. (Beste voorspelling krijg je wanneer verschil tussen Y ^ i en Yi het
X −μ
kleinste is.) Gestandaardiseerde regressie = alle variabelen standaardiseren met z= . Meer nut
σ
N
wanneer regressiemodel gebaseerd op substantiële theorie en wanneer ≥ 20.
k
Gebruik je om relatie tussen Y en X1 en X2 te beschrijven in populatie, kan gebruikt worden om Y-
score van mensen niet in populatie te voorspellen.
Bij een enkelvoudige regressie fit je een rechte lijn waar de residuen minimaal zijn. Bij een
meervoudige regressie gebruik je een vlak.
Hypotheses: H0: B1 = B2 = … = Bk = 0. Ha: ten minste B j ≠ 0. Toetsen met F-toets:
MSregressie MS g
F= =
MS residu MST
VAF: na het maken van je model, kijk je hoe goed je model is:
2 2
R + R −2r
y1 y2 r y 2r y 12 SSregression
R2=R 2y .12= y1
= =Pearson2 . SPSS geeft voor elke predictor een B +
1−r
2
12
SStotal
standaarddeviatie en T-toets + significantie. Zo weet je welke predictor in je model significant is en
welke niet. Kijk hoe belangrijk een predictor is door part correlation in SPSS, laat zien hoeveel
variantie van Y verklaard wordt door predictor en niet door andere variabelen in analyse.
Assumpties met lineair model hebben variabelen een interval meetniveau. Je test voor
homoscedasticiteit (=variantie van residuen zijn constant tussen waardes predictoren, effect op
standaardfouten van regressiecoëfficiënten), onafhankelijkheid van residuen, normaliteit van samples
en multicollineariteit van predictoren (=moderate tot hoge inter-correlatie tussen predictoren).
1
, Wanneer geschonden selectiepredictoren = model selectie. Haal outliers eruit, gebruik robuustere
techniek of methodes in SPSS.
Multicollineariteit probleem want beperkt grootte R2, moeilijk om belang van predictor te bepalen,
maakt regressievergelijking instabiel. IN sociale wetenschappen meestal geen probleem. Identificeer
1 1
met 1) tolerance of predictor: T j=1−R j ≥ .10 en variantie inflatie factor: VIF j = = ≤ 10.
2
T j 1−R2j
Outliers Geen scores extremer dan voorspeld (standaard residu < |3|), geen influentiële punten
(Cook’s < 1), geen outliers op predictoren (leverage < 3(P + 1)/N).
R2adj wanneer we regressiemodel vanuit populatie hadden gevormd, meestal Wherry’s adjusted R 2
2 N −1 2
formule: Ra =1− (1−R ).
N−k −1
Week 2: variantie analyse (ANOVA)
Wat is het effect van X1 en X2 op Y? Hypotheses: H0: 1 = 2 = 3 en Ha: ten minste 1 i ≠ j.
One-way ANOVA om verschillende gemiddelden met elkaar te vergelijken, aan de hand van
varianties. Vergelijkt tussen-groep variantie met binnen-groep variantie (Error). Grotere N zorgt voor
kleinre F. y ij =μ+α j + eij
Voordelen two-way ANOVA: staat onderzoek naar gecombineerd effect op twee factoren toe, ook
sprake van interactie effect. Meerdere factoren is efficiënter, minder kans op fouten.
MS effect MS g
Y ijk =μ+α j + β k +ϕ jk +e ijk . F-statistiek wordt gegeven door: F= = . Bij Two-way
MS error MS T
ANOVA: corrected model, main effect 1, main effect 2, interaction effect.
Source Sum of Squares DF Mean square F
A ∑ ni α^ 2
i
I–1 SSA / DFA MSA / MSE
B ∑ ni β^ 2
j
J–1 SSB / DFB MSB / MSE
A*B ^ 2ij
∑ nij αβ (I – 1)(J – 1) SSAB / DFAB MSAB / MSE
Error SSE N–I*J SSE / DFE
Total ∑ ( y ijk− y ) 2 N-1 SST / DFT
2 SSM 2 SS effect
Verklaarde variantie (VAF) η = , in steekproef: η∂ = . VAF in populatie:
SST SS effect + SSE
SS effect−( DF effect∗MSE)
^ 2=
ω . Zelf uitrekenen en niet uit SPSS halen.
SST + MSE
2
Week 1: multipele regressie analyse
X1, X2 Y Techniek Afkorting
Interval Interva Multipele regressie analyse MRA
l
Nominaal Interva Variantie analyse ANOVA
l
Nominaal + Interva Covariantie analyse ANCOVA
interval l
Interval Binair Logistische regressie analyse LRA
Regressiemodel kan Y voorspeld worden uit X1 en X2? Wanneer ja, dan Y een lineaire functie van
X1 en X2. Simpele regressie: Y i=B0 + B1 X 1+ e i. Multipele regressie:
Y i=B0 + B1 X 1+ B 2 X 2 +…+ B k X k + ei . Een populatiewaarde geef je aan met *. Parameters* schat je
met “kleinste kwadratenprincipe”. (Beste voorspelling krijg je wanneer verschil tussen Y ^ i en Yi het
X −μ
kleinste is.) Gestandaardiseerde regressie = alle variabelen standaardiseren met z= . Meer nut
σ
N
wanneer regressiemodel gebaseerd op substantiële theorie en wanneer ≥ 20.
k
Gebruik je om relatie tussen Y en X1 en X2 te beschrijven in populatie, kan gebruikt worden om Y-
score van mensen niet in populatie te voorspellen.
Bij een enkelvoudige regressie fit je een rechte lijn waar de residuen minimaal zijn. Bij een
meervoudige regressie gebruik je een vlak.
Hypotheses: H0: B1 = B2 = … = Bk = 0. Ha: ten minste B j ≠ 0. Toetsen met F-toets:
MSregressie MS g
F= =
MS residu MST
VAF: na het maken van je model, kijk je hoe goed je model is:
2 2
R + R −2r
y1 y2 r y 2r y 12 SSregression
R2=R 2y .12= y1
= =Pearson2 . SPSS geeft voor elke predictor een B +
1−r
2
12
SStotal
standaarddeviatie en T-toets + significantie. Zo weet je welke predictor in je model significant is en
welke niet. Kijk hoe belangrijk een predictor is door part correlation in SPSS, laat zien hoeveel
variantie van Y verklaard wordt door predictor en niet door andere variabelen in analyse.
Assumpties met lineair model hebben variabelen een interval meetniveau. Je test voor
homoscedasticiteit (=variantie van residuen zijn constant tussen waardes predictoren, effect op
standaardfouten van regressiecoëfficiënten), onafhankelijkheid van residuen, normaliteit van samples
en multicollineariteit van predictoren (=moderate tot hoge inter-correlatie tussen predictoren).
1
, Wanneer geschonden selectiepredictoren = model selectie. Haal outliers eruit, gebruik robuustere
techniek of methodes in SPSS.
Multicollineariteit probleem want beperkt grootte R2, moeilijk om belang van predictor te bepalen,
maakt regressievergelijking instabiel. IN sociale wetenschappen meestal geen probleem. Identificeer
1 1
met 1) tolerance of predictor: T j=1−R j ≥ .10 en variantie inflatie factor: VIF j = = ≤ 10.
2
T j 1−R2j
Outliers Geen scores extremer dan voorspeld (standaard residu < |3|), geen influentiële punten
(Cook’s < 1), geen outliers op predictoren (leverage < 3(P + 1)/N).
R2adj wanneer we regressiemodel vanuit populatie hadden gevormd, meestal Wherry’s adjusted R 2
2 N −1 2
formule: Ra =1− (1−R ).
N−k −1
Week 2: variantie analyse (ANOVA)
Wat is het effect van X1 en X2 op Y? Hypotheses: H0: 1 = 2 = 3 en Ha: ten minste 1 i ≠ j.
One-way ANOVA om verschillende gemiddelden met elkaar te vergelijken, aan de hand van
varianties. Vergelijkt tussen-groep variantie met binnen-groep variantie (Error). Grotere N zorgt voor
kleinre F. y ij =μ+α j + eij
Voordelen two-way ANOVA: staat onderzoek naar gecombineerd effect op twee factoren toe, ook
sprake van interactie effect. Meerdere factoren is efficiënter, minder kans op fouten.
MS effect MS g
Y ijk =μ+α j + β k +ϕ jk +e ijk . F-statistiek wordt gegeven door: F= = . Bij Two-way
MS error MS T
ANOVA: corrected model, main effect 1, main effect 2, interaction effect.
Source Sum of Squares DF Mean square F
A ∑ ni α^ 2
i
I–1 SSA / DFA MSA / MSE
B ∑ ni β^ 2
j
J–1 SSB / DFB MSB / MSE
A*B ^ 2ij
∑ nij αβ (I – 1)(J – 1) SSAB / DFAB MSAB / MSE
Error SSE N–I*J SSE / DFE
Total ∑ ( y ijk− y ) 2 N-1 SST / DFT
2 SSM 2 SS effect
Verklaarde variantie (VAF) η = , in steekproef: η∂ = . VAF in populatie:
SST SS effect + SSE
SS effect−( DF effect∗MSE)
^ 2=
ω . Zelf uitrekenen en niet uit SPSS halen.
SST + MSE
2
