1: Simple Linear Regression
Doel: onderzoeken een beschrijven van de associatie / relatie tussen twee
kwantitatieve variabelen
Descriptive tools:
● Scatterplots: grafische weergave van de relatie tussen 2 kwantitatieve
variabelen
● Correlatie: meet de richting en sterkte van de lineaire relatie tussen 2
kwantitatieve variabelen
● Regressielijn: beschrijft de relatie tussen 2 kwantitatieve variabelen; ene
helpt bij de verklaring/voorspelling van de ander
Inferential tools: betrouwbaarheidsintervallen en significantietoetsen
● Slope parameter: indicatie van het effect van de explanatory variable op de
response variable
● Correlatie: voorspelde (toekomstige) uitkomsten & mean response voor
een gegeven 𝑥 waarde
Simple linear regression onderzoekt de relatie / associatie tussen variabelen
● Response variable 𝑦
○ Continue variabele
○ Dependent variable
● Explanatory variable 𝑥
○ Continue of categorische variabele
○ Independent variable; predictor
Redenatie: verschillende waardes van 𝑥 resulteren in verschillende gemiddelde
waardes van 𝑦 (mean response)
Response variable 𝑦: score op een depressie-schaal
Explanatory variable 𝑥: heeft slechts 2 verschillende waardes (binary 𝑥)
○ Twee verschillende condities: controlegroep versus behandelgroep
De gemiddelde depressie scores per groep kunnen verschillen
● In elke groep zijn individuele scores normaal verdeeld met gelijke
spreiding/variatie: standaarddeviatie
,Statisch model linear regression
● Voor elke waarde van 𝑥 is 𝑦 normaal verdeeld
● Gemiddelde van 𝑦, genoteerd als 𝜇𝑦,
is afhankelijk van 𝑥
● In lineaire regressie nemen we aan dat deze
gemiddelden 𝜇𝑦 op een rechte lijn liggen
○ 𝜇𝑦 =𝛽0 +𝛽1𝑥
● Variatie van 𝑦, gemeten met de
standaarddeviatie 𝜎, is gelijk voor alle waardes van
𝑥
Ordinary least squares (OLS) estimation: schat de lijn om zo de associatie tussen
𝑦 en 𝑥 samen te vatten of te beschrijven
Estimated regression line: 𝑦 =𝑏0+𝑏1𝑥
● 𝑏0: schatting van de intercept parameter 𝛽0
● 𝑏1: schatting van de helling parameter of slope parameter 𝛽1
● 𝑠: schatting van de regression standard deviation σ
Wiskundige oplossing
𝑆𝐷(𝑦)
● 𝑏1 = 𝑟 × 𝑆𝐷(𝑥)
● 𝑏0 = 𝑦 − 𝑏1𝑥
● 𝑟: correlatie tussen 𝑦 en 𝑥 in de steekproef
● 𝑆𝐷(𝑥)en 𝑆𝐷(𝑦): standaarddeviatie van 𝑥 en 𝑦 in de steekproef
● 𝑦 en 𝑥: steekproefgemiddelden van 𝑦 en 𝑥
,𝑠: schatting van de regression standard deviation 𝜎
● Residuals: 𝑒𝑖 = 𝑦𝑖 − 𝑦
● 𝑠: standaarddeviatie van residuen in steekproef - regression standard error
Geschatte (OLS) regressielijn: 𝑦 =𝑏0+𝑏1𝑥
● 𝑏0 intercept: waarde van 𝑦 als 𝑥 = 0
● 𝑏1 slope: mate van verandering in 𝑦 als 𝑥 één punt groter wordt
○ het effect van 𝑥 op 𝑦
Het teken (sign) van de 𝑏1 bepaalt de richting van de regressielijn:
● 𝑏1 > 0 → stijgende lijn; positieve relatie tussen 𝑥 en 𝑦
● 𝑏1 = 0 → horizontale lijn; geen relatie tussen 𝑥 en 𝑦
● 𝑏1 < 0 → dalende lijn; negatieve relatie tussen 𝑥 en
Output regressieanalyse JASP
● 𝑟(𝐻𝐴𝑃𝑃𝑌, 𝐿𝐼𝐹𝐸) = 0.782
, Concept Simple Linear Regression
● Maak een scatterplot van je bivariate data
● Teken een rechte lijn die zo goed mogelijk past bij de punten
● Stel de vergelijking op van deze rechte lijn
Doel: onderzoeken een beschrijven van de associatie / relatie tussen twee
kwantitatieve variabelen
Descriptive tools:
● Scatterplots: grafische weergave van de relatie tussen 2 kwantitatieve
variabelen
● Correlatie: meet de richting en sterkte van de lineaire relatie tussen 2
kwantitatieve variabelen
● Regressielijn: beschrijft de relatie tussen 2 kwantitatieve variabelen; ene
helpt bij de verklaring/voorspelling van de ander
Inferential tools: betrouwbaarheidsintervallen en significantietoetsen
● Slope parameter: indicatie van het effect van de explanatory variable op de
response variable
● Correlatie: voorspelde (toekomstige) uitkomsten & mean response voor
een gegeven 𝑥 waarde
Simple linear regression onderzoekt de relatie / associatie tussen variabelen
● Response variable 𝑦
○ Continue variabele
○ Dependent variable
● Explanatory variable 𝑥
○ Continue of categorische variabele
○ Independent variable; predictor
Redenatie: verschillende waardes van 𝑥 resulteren in verschillende gemiddelde
waardes van 𝑦 (mean response)
Response variable 𝑦: score op een depressie-schaal
Explanatory variable 𝑥: heeft slechts 2 verschillende waardes (binary 𝑥)
○ Twee verschillende condities: controlegroep versus behandelgroep
De gemiddelde depressie scores per groep kunnen verschillen
● In elke groep zijn individuele scores normaal verdeeld met gelijke
spreiding/variatie: standaarddeviatie
,Statisch model linear regression
● Voor elke waarde van 𝑥 is 𝑦 normaal verdeeld
● Gemiddelde van 𝑦, genoteerd als 𝜇𝑦,
is afhankelijk van 𝑥
● In lineaire regressie nemen we aan dat deze
gemiddelden 𝜇𝑦 op een rechte lijn liggen
○ 𝜇𝑦 =𝛽0 +𝛽1𝑥
● Variatie van 𝑦, gemeten met de
standaarddeviatie 𝜎, is gelijk voor alle waardes van
𝑥
Ordinary least squares (OLS) estimation: schat de lijn om zo de associatie tussen
𝑦 en 𝑥 samen te vatten of te beschrijven
Estimated regression line: 𝑦 =𝑏0+𝑏1𝑥
● 𝑏0: schatting van de intercept parameter 𝛽0
● 𝑏1: schatting van de helling parameter of slope parameter 𝛽1
● 𝑠: schatting van de regression standard deviation σ
Wiskundige oplossing
𝑆𝐷(𝑦)
● 𝑏1 = 𝑟 × 𝑆𝐷(𝑥)
● 𝑏0 = 𝑦 − 𝑏1𝑥
● 𝑟: correlatie tussen 𝑦 en 𝑥 in de steekproef
● 𝑆𝐷(𝑥)en 𝑆𝐷(𝑦): standaarddeviatie van 𝑥 en 𝑦 in de steekproef
● 𝑦 en 𝑥: steekproefgemiddelden van 𝑦 en 𝑥
,𝑠: schatting van de regression standard deviation 𝜎
● Residuals: 𝑒𝑖 = 𝑦𝑖 − 𝑦
● 𝑠: standaarddeviatie van residuen in steekproef - regression standard error
Geschatte (OLS) regressielijn: 𝑦 =𝑏0+𝑏1𝑥
● 𝑏0 intercept: waarde van 𝑦 als 𝑥 = 0
● 𝑏1 slope: mate van verandering in 𝑦 als 𝑥 één punt groter wordt
○ het effect van 𝑥 op 𝑦
Het teken (sign) van de 𝑏1 bepaalt de richting van de regressielijn:
● 𝑏1 > 0 → stijgende lijn; positieve relatie tussen 𝑥 en 𝑦
● 𝑏1 = 0 → horizontale lijn; geen relatie tussen 𝑥 en 𝑦
● 𝑏1 < 0 → dalende lijn; negatieve relatie tussen 𝑥 en
Output regressieanalyse JASP
● 𝑟(𝐻𝐴𝑃𝑃𝑌, 𝐿𝐼𝐹𝐸) = 0.782
, Concept Simple Linear Regression
● Maak een scatterplot van je bivariate data
● Teken een rechte lijn die zo goed mogelijk past bij de punten
● Stel de vergelijking op van deze rechte lijn
