Hoorcolleges; week 1 regressieanalyse
Soorten variabelen; INT (interval/kwantitatief bijv. gewicht, IQ), NOM (nominaal/label, bijv.
hechtingsstijl), DUM (dummyvariabelen, met twee opties (bijv. geslacht, wel/niet
behandeling)). Afhankelijk van X en Y word bijpassend model bepaald>
X1 X2 Y Analyse
DUM - INT t-toets voor onafhankelijke
groepen
NOM - INT Eenwegvariantieanalyse
(ANOVA)
NOM NOM INT Tweewegvariantieanalyse
(ANOVA)
INT - INT Enkelvoudige
regressieanalyse
INT INT INT Multipele regressieanalyse
INT NOM INT Covariantieanalyse
INT DUM Logistische regressieanalyse
Lineaire relaties (is er relatie tussen variabelen? Y=a+bx, a = intercept, b =
helling)
Vaak verwachtingen over samenhang tussen INT en ze worden gebruikt voor
voorspellingen.
Spreidingsdiagram (scatterplot) geeft relatie tussen variabelen, door punten in grafiek
en hun vorm. Lineair model geschikt> relaties tussen INT goed samen te vatten door
lineair verband. Lijn geeft info over sterkte relatie.
Helling is parameter die zowel richting van relatie aangeeft als helpt bij interpretatie aan
de relatie.
Kleinste kwadratensom van residuen (verschillen tussen werkelijke en voorspelde y>
bepalen lijn, je moet kwadrateren omdat sommige waarden positief en anderen negatief
zijn, zo kun je de - wegwerken); residuen berekenen (afstand punt>lijn), residuen
kwadrateren, kwadraten bij elkaar optellen, lijn is zo klein mogelijke som, er ontstaat één
unieke lijn.
Pearsoncorrelatie: is er een lineaire relatie en hoe sterk is relatie?
Toetsing : H0: r=0 (>er is geen relatie), bij p<0,001 is relatie significant (verband is niet
toevallig). Nulhypothese= populatiegrootheid heeft bepaalde waarde), alternatieve
hypothese= heeft waarde niet, (> (rechts-), <, ≠ (tweezijdig)). Data verzameling>
probeer H0 te verwerpen.
Toetsingsgrootheid (teststatistic) = (schatting – waarde onder H0) / S.E. (schatting en
standaardfout(S.E.) uit steekproef, waarde onder H0 uit populatie)> hoe bijzonder is
gevonden uitkomst tov verwachting H0, hoeveel standaardfouten ligt gevonden uitkomst
van waarde onder H0 af.
P-waarde; kans om uitkomst te vinden die net zo extreem of extremer is dan gevonden
effect, als H0 waar zou zijn; wat is kans op minstens gevonden test statistic indien H0
waar zou zijn.
Hoe kleiner p-waarde, hoe sterker bewijs tegen H0 en hoe onwaarschijnlijker
H0. Betekenis p-waarde altijd beoordeeld tov gekozen significantieniveau (a).
Significantietoets interpreteren; p<a : uitkomst significant, lijkt bewijs tegen H0, p>a: niet
significant, geen bewezen effect/ ‘geen idee of er een populatie-effect is en dus niet er is
geen populatie-effect’.
Kan Y voorspeld worden door X? > enkelvoudige regressieanalyse (met één
voorspeller)
Kwadraat van correlatie (r^2)= gemeenschappelijke variantie (bijv. r^2=0,774 : 77%
overlap tussen variabelen en voorspelbare verschillen).
Statistisch model; data = model + error> beschrijft relatie tussen variabelen in de
populatie;
, yi = β0 + β1xi + Ei (data = model (β0 + β1xi/regressielijn) + error (Ei)).
Yi= afhankelijke, Xi+ onafhankelijke, Ei= residu (afwijking, bij error normaal verdeeld met
gemiddelde 0), regressiecoëfficiënten (bepalen positie en steilheid) : β0 = intercept, β1 =
helling (slope)> van populatielijn niet direct observeerbaar, schatten uit steekproef met
kleinste kwadratenmethode.
Geschatte regressieijn;Y^i=b0+b1xi >b0 = schatter β0, b1 = schatter β1. Voor gemak:
BDI = b0 + b1*coping
Homoscedasticiteit (voorwaarde); verticale spreiding van punten moet voor ongeveer alle
waarden van X gelijk zijn (niet nodig dat alle punten precies op de lijn liggen, spreiding
rond regressielijn kan).
Lijn: y+ax+b, b=intercept (waarde van y, als x=0), a=helling/slope.
SPSS analyse: geschatte regressielijn kan worden weergegeven in coëfficiëntentabel.
Unstandardized coefficients geven waarden van b0 en b1 aan. Voor populatie intercept
(beginpunt van de lijn) wordt getest of B0≠0 (t-toets=bovenste t, met sig (P<…)). Voor
populatie-regressiecoëfficiënt B1 wordt getest of B1=0, om bepalen of x y voorspelt in
populatie. Als p<0,001, lijkt x een significante voorspeller van y te zijn.
Voorbeeld kan BDI voorspeld worden door coping; t=16,7 en p<0.001 dus ja,
waarschijnlijk is coping in de populatie voorspeller van BDI in de populatie. Want t>1,96
en p<.05.
Bij gestandaardiseerde variabelen en één voorspeller (gemiddelde=0,
standaarddeviatie=1) Beta-coëfficiënt = correlatie (SPSS analyse; beta-waarde betekent
x=0 en y^=unstandardized coefficient B constant).
Interpretatie; Intercept: alss x= 0 dan score Y^= unstandardized coefficient B bovenste.
Stijging van x met 1 punt leidt tot toename van y^ met unstandardized coefficient B,
onderste.
Verklaarde variantie
Model summary: sterkte wordt beoordeeld met R (multipele correlatie tussen Y en X1, X2,
X3) en R^2 (aandeel verklaarde variantie van Y door X). Hoge R^2= punten liggen dicht
bij regressielijn, kleine residuen, hoge correlatie, veel verklaarde variantie. Geen
causaliteit, maar statistische relatie.
Bij regressieanalyse zijn assumpties nodig voor uitspraken over populatie, bijv.
hypothesen toetsen. Aannames kunnen geformuleerd worden in residuen (Ei).
Als assumpties niet lijken op te gaan: beïnvloedt standaardfouten van coëfficiënten,
beïnvloedt waarde van statistieken (F-waarde, t-waarde), beïnvloedt p-waarden, mogelijk
verkeerde conclusies t.a.v. H0 en significantie. (!!! Assumpties betreffen de populatie, niet
steekproef> die checkt of ze enigszins opgaan)
Bij lichte tot gemiddelde schendingen van de assumpties:p < 0.001betekent nog steeds
dat er een populatie-effect lijkt, bij p-waardes rond significantieniveau voorzichtigheid
sowieso geboden
Belangrijkste assumpties:
1. Relatie tussen y en voorspellers x is lineair- model veronderstelt lineaire relatie
(regressievergelijking)
2. Residuen zijn normaal verdeeld met gemiddelde 0
3. Homoscedasticiteit (constante variantie van residuen voor alle waarden van
voorspellers)
4. Residuen zijn onafhankelijk – scores van participanten zijn onafhankelijk
Normal probability plot; beoordeeld normaliteit residuen met een histogram> geen sterke
afwijking=geen reden om aan te nemen dat residuen in populatie niet normaal verdeeld
zijn. Homoscedasticiteit en lineariteit worden gecontroleerd met spreidingsdiagram van
voorspelde waarden tegen gestandaardiseerde residuen. Lineariteit is aannemelijk als de
punten gemiddeld rond de lijn Ei=0 liggen; systematische afwijkingen wijzen op
schending van assumpties> transformatie van voorspeller of robuuste regressiemethode
Soorten variabelen; INT (interval/kwantitatief bijv. gewicht, IQ), NOM (nominaal/label, bijv.
hechtingsstijl), DUM (dummyvariabelen, met twee opties (bijv. geslacht, wel/niet
behandeling)). Afhankelijk van X en Y word bijpassend model bepaald>
X1 X2 Y Analyse
DUM - INT t-toets voor onafhankelijke
groepen
NOM - INT Eenwegvariantieanalyse
(ANOVA)
NOM NOM INT Tweewegvariantieanalyse
(ANOVA)
INT - INT Enkelvoudige
regressieanalyse
INT INT INT Multipele regressieanalyse
INT NOM INT Covariantieanalyse
INT DUM Logistische regressieanalyse
Lineaire relaties (is er relatie tussen variabelen? Y=a+bx, a = intercept, b =
helling)
Vaak verwachtingen over samenhang tussen INT en ze worden gebruikt voor
voorspellingen.
Spreidingsdiagram (scatterplot) geeft relatie tussen variabelen, door punten in grafiek
en hun vorm. Lineair model geschikt> relaties tussen INT goed samen te vatten door
lineair verband. Lijn geeft info over sterkte relatie.
Helling is parameter die zowel richting van relatie aangeeft als helpt bij interpretatie aan
de relatie.
Kleinste kwadratensom van residuen (verschillen tussen werkelijke en voorspelde y>
bepalen lijn, je moet kwadrateren omdat sommige waarden positief en anderen negatief
zijn, zo kun je de - wegwerken); residuen berekenen (afstand punt>lijn), residuen
kwadrateren, kwadraten bij elkaar optellen, lijn is zo klein mogelijke som, er ontstaat één
unieke lijn.
Pearsoncorrelatie: is er een lineaire relatie en hoe sterk is relatie?
Toetsing : H0: r=0 (>er is geen relatie), bij p<0,001 is relatie significant (verband is niet
toevallig). Nulhypothese= populatiegrootheid heeft bepaalde waarde), alternatieve
hypothese= heeft waarde niet, (> (rechts-), <, ≠ (tweezijdig)). Data verzameling>
probeer H0 te verwerpen.
Toetsingsgrootheid (teststatistic) = (schatting – waarde onder H0) / S.E. (schatting en
standaardfout(S.E.) uit steekproef, waarde onder H0 uit populatie)> hoe bijzonder is
gevonden uitkomst tov verwachting H0, hoeveel standaardfouten ligt gevonden uitkomst
van waarde onder H0 af.
P-waarde; kans om uitkomst te vinden die net zo extreem of extremer is dan gevonden
effect, als H0 waar zou zijn; wat is kans op minstens gevonden test statistic indien H0
waar zou zijn.
Hoe kleiner p-waarde, hoe sterker bewijs tegen H0 en hoe onwaarschijnlijker
H0. Betekenis p-waarde altijd beoordeeld tov gekozen significantieniveau (a).
Significantietoets interpreteren; p<a : uitkomst significant, lijkt bewijs tegen H0, p>a: niet
significant, geen bewezen effect/ ‘geen idee of er een populatie-effect is en dus niet er is
geen populatie-effect’.
Kan Y voorspeld worden door X? > enkelvoudige regressieanalyse (met één
voorspeller)
Kwadraat van correlatie (r^2)= gemeenschappelijke variantie (bijv. r^2=0,774 : 77%
overlap tussen variabelen en voorspelbare verschillen).
Statistisch model; data = model + error> beschrijft relatie tussen variabelen in de
populatie;
, yi = β0 + β1xi + Ei (data = model (β0 + β1xi/regressielijn) + error (Ei)).
Yi= afhankelijke, Xi+ onafhankelijke, Ei= residu (afwijking, bij error normaal verdeeld met
gemiddelde 0), regressiecoëfficiënten (bepalen positie en steilheid) : β0 = intercept, β1 =
helling (slope)> van populatielijn niet direct observeerbaar, schatten uit steekproef met
kleinste kwadratenmethode.
Geschatte regressieijn;Y^i=b0+b1xi >b0 = schatter β0, b1 = schatter β1. Voor gemak:
BDI = b0 + b1*coping
Homoscedasticiteit (voorwaarde); verticale spreiding van punten moet voor ongeveer alle
waarden van X gelijk zijn (niet nodig dat alle punten precies op de lijn liggen, spreiding
rond regressielijn kan).
Lijn: y+ax+b, b=intercept (waarde van y, als x=0), a=helling/slope.
SPSS analyse: geschatte regressielijn kan worden weergegeven in coëfficiëntentabel.
Unstandardized coefficients geven waarden van b0 en b1 aan. Voor populatie intercept
(beginpunt van de lijn) wordt getest of B0≠0 (t-toets=bovenste t, met sig (P<…)). Voor
populatie-regressiecoëfficiënt B1 wordt getest of B1=0, om bepalen of x y voorspelt in
populatie. Als p<0,001, lijkt x een significante voorspeller van y te zijn.
Voorbeeld kan BDI voorspeld worden door coping; t=16,7 en p<0.001 dus ja,
waarschijnlijk is coping in de populatie voorspeller van BDI in de populatie. Want t>1,96
en p<.05.
Bij gestandaardiseerde variabelen en één voorspeller (gemiddelde=0,
standaarddeviatie=1) Beta-coëfficiënt = correlatie (SPSS analyse; beta-waarde betekent
x=0 en y^=unstandardized coefficient B constant).
Interpretatie; Intercept: alss x= 0 dan score Y^= unstandardized coefficient B bovenste.
Stijging van x met 1 punt leidt tot toename van y^ met unstandardized coefficient B,
onderste.
Verklaarde variantie
Model summary: sterkte wordt beoordeeld met R (multipele correlatie tussen Y en X1, X2,
X3) en R^2 (aandeel verklaarde variantie van Y door X). Hoge R^2= punten liggen dicht
bij regressielijn, kleine residuen, hoge correlatie, veel verklaarde variantie. Geen
causaliteit, maar statistische relatie.
Bij regressieanalyse zijn assumpties nodig voor uitspraken over populatie, bijv.
hypothesen toetsen. Aannames kunnen geformuleerd worden in residuen (Ei).
Als assumpties niet lijken op te gaan: beïnvloedt standaardfouten van coëfficiënten,
beïnvloedt waarde van statistieken (F-waarde, t-waarde), beïnvloedt p-waarden, mogelijk
verkeerde conclusies t.a.v. H0 en significantie. (!!! Assumpties betreffen de populatie, niet
steekproef> die checkt of ze enigszins opgaan)
Bij lichte tot gemiddelde schendingen van de assumpties:p < 0.001betekent nog steeds
dat er een populatie-effect lijkt, bij p-waardes rond significantieniveau voorzichtigheid
sowieso geboden
Belangrijkste assumpties:
1. Relatie tussen y en voorspellers x is lineair- model veronderstelt lineaire relatie
(regressievergelijking)
2. Residuen zijn normaal verdeeld met gemiddelde 0
3. Homoscedasticiteit (constante variantie van residuen voor alle waarden van
voorspellers)
4. Residuen zijn onafhankelijk – scores van participanten zijn onafhankelijk
Normal probability plot; beoordeeld normaliteit residuen met een histogram> geen sterke
afwijking=geen reden om aan te nemen dat residuen in populatie niet normaal verdeeld
zijn. Homoscedasticiteit en lineariteit worden gecontroleerd met spreidingsdiagram van
voorspelde waarden tegen gestandaardiseerde residuen. Lineariteit is aannemelijk als de
punten gemiddeld rond de lijn Ei=0 liggen; systematische afwijkingen wijzen op
schending van assumpties> transformatie van voorspeller of robuuste regressiemethode
