Week 1: Bayes and MLR
The Bayesian Approach
Het Bayesiaanse kader is gebaseerd op de posteriorverdeling van één of meer
parameters. Stel dat we geïnteresseerd zijn in het schatten van een gemiddelde
μ, dat een cijfer (schaal 0–10) voorstelt.
- De informatie in onze dataset geeft aanwijzingen over welke waarden voor μ redelijk
zijn = likelihoodfunctie: het is een functie die aangeeft hoe waarschijnlijk elke
mogelijke waarde van μ is, gegeven de data.
- Maar ook de priorverdeling geeft informatie, namelijk de kennis of overtuiging over
μ voordat we onze data bekijken.
De posterior is een combinatie van de prior en de likelihood.
De Bayesiaanse statistiek gaat ervan uit dat we meer weten dan alleen de frequentie van
een gebeurtenis in een dataset. We hebben al enige prior (vooraf bestaande kennis of
overtuigingen) voordat we naar onze eigen data kijken. In een Bayesiaanse analyse voegen
we deze voorafgaande kennis of overtuiging toe aan de analyse.
Verschillen interpretatie Bayesian Credible Interval en Frequentist Confidence Interval:
- Bayesian Credible Interval: gegeven de data en prior, is er 95% kans dat de
parameter in het interval ligt.
- Frequentist Confidence Interval (CI): Als we het experiment oneindig vaak
herhalen, zal 95% van de berekende CI’s de ware parameter bevatten.
Definition of probability:
- In classical / frequentist statistics there is one underlying simple definition: The
probability of an event is assumed to be the frequency with which it occurs.
★ For example, if 150 out of 1000 people smoke, we could say that the probability that
some randomly picked person in that group of 1000 smokers is 0.15 (or 15 %).
★ interval = confidence interval → "If we were to repeat this experiment many times
and calculate an interval each time, 95% of the intervals will include the true
parameter value (and 5% will not)"
★ p-value: P( data | null hypothesis ): de kans om dezelfde of meer extreme data te
observeren gegeven dat de nulhypothese waar is → geeft geen informatie over hoe
waarschijnlijk het is dat de nulhypothese waar is gegeven de data (bayesiaanse
wel)
- In Bayesian statistics, we use conditional probabilities. The foundation of
Bayesian statistics is Bayes' theorem:
P = de kans op onze hypothese, gegeven de data die we in onze studie hebben
geobserveerd.
A = een hypothese van belang
B = de gegevens die we hebben verzameld
★ the bayesian interpretation is more intuitive
, ★ interval = credible interval → "There is 95% probability that the true value is
in the interval."
★ p-value: P(null hypothesis | data): hoe waarschijnlijk is de nulhypothese, of
een andere hypothese, gegeven de data die we hebben geobserveerd?
BF’s measure the relative support for hypotheses. A BF is not a probability but BFs can be
transformed into (relative) probabilities:
1. prior model probabilities definiëren: hoe waarschijnlijk is elke hypothese vóórdat we
hode data zien?
2. De meest gebruikelijke keuze is dat elke hypothese vóór het zien van de data als
even waarschijnlijk wordt beschouwd. Dit levert:
- wanneer we geïnteresseerd zijn in 2 hypothesen H1 en H2: P(H1) = P(H2) = 0,5
- wanneer we geïnteresseerd zijn in 3 hypothesen H1, H2 en H3: P(H1) = P(H2) =
P(H3) = 0,333
- wanneer we geïnteresseerd zijn in 10 hypothesen H1, ..., H10: P(H1) = ... = P(H10) =
0,1
3. De prior-kansen tellen op tot 1. Als we denken dat H1 a priori waarschijnlijker is,
kunnen we bijvoorbeeld P(H1) = 0,6 en P(H2) = 0,4 toekennen.
4. Het moet plus elkaar 1 zijn en keer elkaar hoeveel meer support de ene heeft.
Assumptions I
Assumptions Multiple Linear Regression:
- the dependent variable is a continuous measure: interval or ratio
- the independent variables are continuous (oneindig veel getallen) or
dichotomous (binair ja/nee)
1. there are linear relationships between the dependent variable and each of the
continuous independent variables. → checked using scatterplots: straight line, no
curve. Is het niet lineair? → add more additional terms to the model: van linear naar
quadratic: add a B2X^2 (another parameter that informs how curved the relation is).
2. no outliers: a case that deviates strongly from other cases in the data set → ook
kijken naar scatterplot of je een uitstekend bolletje ziet. 3 opties als gevolg:
1. do nothing (include outlier in the analysis)
, 2. exclude the data point (or entire participant) from the analysis (preferred)
3. change the data point to the correct value (if outlier is known to be an error) or
to a less extreme value
→ assumption: between -3.3 and +3.3
3. Independence: de residuen zijn onafhankelijk van elkaar
4. Homoscedasticiteit: spreiding van de residuen zijn gelijk voor alle voorspellers
5. Normaal verdeling van de residuen
6. Geen perfecte multicollineariteit: onafhankelijke variabelen mogen niet perfect
gecorreleerd zijn met elkaar:
● tolerance < .2 → potential problem
● tolerance < .1 → problem
● VIF is equal to 1 / Tolerance → VIF > .5 = potential problem and VIF > .10 = problem.
Assumptions II
With Cook's distance, it is possible to check whether there are outliers within the XY-space.
An outlier in the XY-space is an extreme combination of X (all X-variables) and Y scores.
Cook’s distance indicates the overall influence of a respondent on the model.
→ Rule: Cook’s distance must be lower than 1. Values higher than 1 indicate influential
respondents (influential cases).
Changing your data is risky → be transparent. Be open about what you did (with the data)
and why. Transparency is also reached (or at least aimed for) by preregistration.
The assumption: Absence of multicollinearity: Multicollinearity indicates whether the
relationship between two or more independent variables is too strong. If you include overly
related variables in your model, this has 3 consequences:
1. The regression coefficients (B) are unreliable,
2. It limits the magnitude of R (the correlation between Y and Ŷ): maakt het moeilijker
om te zeggen welk deel van R door welke variabele komt, omdat de variabelen
elkaar overlappen.
3. The importance of individual independent variables can hardly be determined: lastig
om het unieke effect van elke onafhankelijke variabele te bepalen
Correlations between independent variables are common, so you check if there too severe:
→ Checken of multicollinearity een issue is: Tolerance or VIF (Variance Inflation Factor):
- tolerance < .2 → potential problem
- tolerance < .1 → problem
- VIF is equal to 1 / Tolerance → VIF > .5 = potential problem and VIF > .10 = problem.
The assumption: Homoscedasticity: the spread of the residuals must be approximately the
same across all values for the predicted y. Dus residual bolletjes dichtbij de regressielijn:
, The assumption: Normally distributed residuals: ongeveer normaal verdeeld
(symmetrische berg in histogram).
Multiple linear regression, including hierarchical
MLR
Multiple correlation coefficient = R
→ indicates the correlation between Y (waargenomen score) and Ŷ (geschatte score)
→ zegt iets over hoe goed het model is in schatten
Frequentist approach
R² = explained variance by model in the sample. 0.173 → means 17,3% is explained by the
model. Then 100 - 17,3 = 82,7% is explained by other factors.
Adjusted R² = explained variance in the population (estimate). Corrigeert R² voor het
aantal predictoren en de steekproefgrootte, zodat je geen overschatting krijgt bij veel
predictoren.
F-test tests whether the model as a whole is significant: of het model significant beter
verklaart dan een model zonder voorspellers (het gemiddelde).
3e tabel regressiecoëfficiënten: For each independent variable (x), we consider whether it is
a significant predictor for the dependent variable (y) while keeping all other predictors
constant!!!
● B: Unstandardized coëfficiënt: Dit is de regressiecoëfficiënt in de originele eenheden
van de variabele.
Het geeft aan: “Als X met 1 eenheid stijgt, verandert Y met B eenheden, terwijl
andere variabelen constant blijven”
● Beta: Standardized coëfficiënt (β): Dit is de gestandaardiseerde versie van B,
uitgedrukt in standaarddeviaties.
Het geeft aan: “Als X met 1 standaarddeviatie stijgt, verandert Y met β
standaarddeviaties, terwijl andere variabelen constant blijven”
→ hiernaar kijken als je wilt weten welke variabele het meeste variantie verklaart
(hoogste waarde)
Bayesian approach:
1e tabel:
P(M): Prior Probability:
The Bayesian Approach
Het Bayesiaanse kader is gebaseerd op de posteriorverdeling van één of meer
parameters. Stel dat we geïnteresseerd zijn in het schatten van een gemiddelde
μ, dat een cijfer (schaal 0–10) voorstelt.
- De informatie in onze dataset geeft aanwijzingen over welke waarden voor μ redelijk
zijn = likelihoodfunctie: het is een functie die aangeeft hoe waarschijnlijk elke
mogelijke waarde van μ is, gegeven de data.
- Maar ook de priorverdeling geeft informatie, namelijk de kennis of overtuiging over
μ voordat we onze data bekijken.
De posterior is een combinatie van de prior en de likelihood.
De Bayesiaanse statistiek gaat ervan uit dat we meer weten dan alleen de frequentie van
een gebeurtenis in een dataset. We hebben al enige prior (vooraf bestaande kennis of
overtuigingen) voordat we naar onze eigen data kijken. In een Bayesiaanse analyse voegen
we deze voorafgaande kennis of overtuiging toe aan de analyse.
Verschillen interpretatie Bayesian Credible Interval en Frequentist Confidence Interval:
- Bayesian Credible Interval: gegeven de data en prior, is er 95% kans dat de
parameter in het interval ligt.
- Frequentist Confidence Interval (CI): Als we het experiment oneindig vaak
herhalen, zal 95% van de berekende CI’s de ware parameter bevatten.
Definition of probability:
- In classical / frequentist statistics there is one underlying simple definition: The
probability of an event is assumed to be the frequency with which it occurs.
★ For example, if 150 out of 1000 people smoke, we could say that the probability that
some randomly picked person in that group of 1000 smokers is 0.15 (or 15 %).
★ interval = confidence interval → "If we were to repeat this experiment many times
and calculate an interval each time, 95% of the intervals will include the true
parameter value (and 5% will not)"
★ p-value: P( data | null hypothesis ): de kans om dezelfde of meer extreme data te
observeren gegeven dat de nulhypothese waar is → geeft geen informatie over hoe
waarschijnlijk het is dat de nulhypothese waar is gegeven de data (bayesiaanse
wel)
- In Bayesian statistics, we use conditional probabilities. The foundation of
Bayesian statistics is Bayes' theorem:
P = de kans op onze hypothese, gegeven de data die we in onze studie hebben
geobserveerd.
A = een hypothese van belang
B = de gegevens die we hebben verzameld
★ the bayesian interpretation is more intuitive
, ★ interval = credible interval → "There is 95% probability that the true value is
in the interval."
★ p-value: P(null hypothesis | data): hoe waarschijnlijk is de nulhypothese, of
een andere hypothese, gegeven de data die we hebben geobserveerd?
BF’s measure the relative support for hypotheses. A BF is not a probability but BFs can be
transformed into (relative) probabilities:
1. prior model probabilities definiëren: hoe waarschijnlijk is elke hypothese vóórdat we
hode data zien?
2. De meest gebruikelijke keuze is dat elke hypothese vóór het zien van de data als
even waarschijnlijk wordt beschouwd. Dit levert:
- wanneer we geïnteresseerd zijn in 2 hypothesen H1 en H2: P(H1) = P(H2) = 0,5
- wanneer we geïnteresseerd zijn in 3 hypothesen H1, H2 en H3: P(H1) = P(H2) =
P(H3) = 0,333
- wanneer we geïnteresseerd zijn in 10 hypothesen H1, ..., H10: P(H1) = ... = P(H10) =
0,1
3. De prior-kansen tellen op tot 1. Als we denken dat H1 a priori waarschijnlijker is,
kunnen we bijvoorbeeld P(H1) = 0,6 en P(H2) = 0,4 toekennen.
4. Het moet plus elkaar 1 zijn en keer elkaar hoeveel meer support de ene heeft.
Assumptions I
Assumptions Multiple Linear Regression:
- the dependent variable is a continuous measure: interval or ratio
- the independent variables are continuous (oneindig veel getallen) or
dichotomous (binair ja/nee)
1. there are linear relationships between the dependent variable and each of the
continuous independent variables. → checked using scatterplots: straight line, no
curve. Is het niet lineair? → add more additional terms to the model: van linear naar
quadratic: add a B2X^2 (another parameter that informs how curved the relation is).
2. no outliers: a case that deviates strongly from other cases in the data set → ook
kijken naar scatterplot of je een uitstekend bolletje ziet. 3 opties als gevolg:
1. do nothing (include outlier in the analysis)
, 2. exclude the data point (or entire participant) from the analysis (preferred)
3. change the data point to the correct value (if outlier is known to be an error) or
to a less extreme value
→ assumption: between -3.3 and +3.3
3. Independence: de residuen zijn onafhankelijk van elkaar
4. Homoscedasticiteit: spreiding van de residuen zijn gelijk voor alle voorspellers
5. Normaal verdeling van de residuen
6. Geen perfecte multicollineariteit: onafhankelijke variabelen mogen niet perfect
gecorreleerd zijn met elkaar:
● tolerance < .2 → potential problem
● tolerance < .1 → problem
● VIF is equal to 1 / Tolerance → VIF > .5 = potential problem and VIF > .10 = problem.
Assumptions II
With Cook's distance, it is possible to check whether there are outliers within the XY-space.
An outlier in the XY-space is an extreme combination of X (all X-variables) and Y scores.
Cook’s distance indicates the overall influence of a respondent on the model.
→ Rule: Cook’s distance must be lower than 1. Values higher than 1 indicate influential
respondents (influential cases).
Changing your data is risky → be transparent. Be open about what you did (with the data)
and why. Transparency is also reached (or at least aimed for) by preregistration.
The assumption: Absence of multicollinearity: Multicollinearity indicates whether the
relationship between two or more independent variables is too strong. If you include overly
related variables in your model, this has 3 consequences:
1. The regression coefficients (B) are unreliable,
2. It limits the magnitude of R (the correlation between Y and Ŷ): maakt het moeilijker
om te zeggen welk deel van R door welke variabele komt, omdat de variabelen
elkaar overlappen.
3. The importance of individual independent variables can hardly be determined: lastig
om het unieke effect van elke onafhankelijke variabele te bepalen
Correlations between independent variables are common, so you check if there too severe:
→ Checken of multicollinearity een issue is: Tolerance or VIF (Variance Inflation Factor):
- tolerance < .2 → potential problem
- tolerance < .1 → problem
- VIF is equal to 1 / Tolerance → VIF > .5 = potential problem and VIF > .10 = problem.
The assumption: Homoscedasticity: the spread of the residuals must be approximately the
same across all values for the predicted y. Dus residual bolletjes dichtbij de regressielijn:
, The assumption: Normally distributed residuals: ongeveer normaal verdeeld
(symmetrische berg in histogram).
Multiple linear regression, including hierarchical
MLR
Multiple correlation coefficient = R
→ indicates the correlation between Y (waargenomen score) and Ŷ (geschatte score)
→ zegt iets over hoe goed het model is in schatten
Frequentist approach
R² = explained variance by model in the sample. 0.173 → means 17,3% is explained by the
model. Then 100 - 17,3 = 82,7% is explained by other factors.
Adjusted R² = explained variance in the population (estimate). Corrigeert R² voor het
aantal predictoren en de steekproefgrootte, zodat je geen overschatting krijgt bij veel
predictoren.
F-test tests whether the model as a whole is significant: of het model significant beter
verklaart dan een model zonder voorspellers (het gemiddelde).
3e tabel regressiecoëfficiënten: For each independent variable (x), we consider whether it is
a significant predictor for the dependent variable (y) while keeping all other predictors
constant!!!
● B: Unstandardized coëfficiënt: Dit is de regressiecoëfficiënt in de originele eenheden
van de variabele.
Het geeft aan: “Als X met 1 eenheid stijgt, verandert Y met B eenheden, terwijl
andere variabelen constant blijven”
● Beta: Standardized coëfficiënt (β): Dit is de gestandaardiseerde versie van B,
uitgedrukt in standaarddeviaties.
Het geeft aan: “Als X met 1 standaarddeviatie stijgt, verandert Y met β
standaarddeviaties, terwijl andere variabelen constant blijven”
→ hiernaar kijken als je wilt weten welke variabele het meeste variantie verklaart
(hoogste waarde)
Bayesian approach:
1e tabel:
P(M): Prior Probability:
