Hoorcollege 1
Frequentist vs Bayesian statistics:
- Frequentist framework: test how well the data fit H0 (NHST)
→ p-values, confidence intervals, effect sizes, power analyses
- Bayesian framework: probability of the hypothesis given the data, taking prior
information into account
→ Bayes factors, priors, posteriors, credible intervals
Frequentist estimation: empirical research uses collected data to learn from. Information in
this data is captured in a likelihood function. How much does something distribute to
something? → we want to make an estimation → likelihood.
- x-as → waarden van μ
- y-as → probability of the observed data voor elke waarde van μ : P(data|μ)
(likelihood)
Wat is de kans dat je een bepaalde waarde meet? Een gemiddelde lengte van kinderen
meet je sneller dan een heel lang kind.
Je wilt het gemiddelde weten van de hele populatie.
Frequentist approach: All relevant information for inference is contained in the likelihood
function.
Bayesian approach (met prior):
In addition to the data, we may also have prior information about μ → Je weet al dat een
basisschoolkind niet 2 meter gaat zijn.
Prior p(μ) (of prior distribution) = je voorkennis / aanname die je maakt over een onbekende
parameter vóórdat je de nieuwe data ziet. Het is dus niet één getal, maar meestal een
verdeling (bijv. “het gemiddelde zit waarschijnlijk rond 170 cm met een beetje onzekerheid”).
- Central idea/mechanism: prior knowledge is updated with information in the data and
together provides the posterior distribution for μ
- Advantage: accumulating knowledge (‘today’s posterior is tomorrow’s prior’)
- Disadvantage: results depend on choice of prior
- Je kunt blijven updaten met nieuwe data en nieuwe posterior als nieuwe prior
gebruiken en daarmee nieuwe posterior enzovoort…
Resultaten hangen af van keuze van prior. Priors kunnen gekozen worden dat ze niet mega
veranderingen maken.
posterior = likelihood × prior
Prior 1 – Volledig vlak (uniform op
Je hebt nul voorkennis.
Je vindt alle waarden even waarschijnlijk
Prior 2: Alle IQ-waarden tussen 40 en 160
zijn even waarschijnlijk. Buiten dat bereik is
het onmogelijk volgens deze prior.
,Prior 3: Waarden rond het midden zijn iets waarschijnlijker, maar vrijwel alle IQ’s tussen 40
en 160 zijn nog steeds redelijk mogelijk.
Prior 4: Sterke voorkennis: je gelooft dat het IQ waarschijnlijk rond 100 zit, met weinig
spreiding. Ook bij prior 5: Je hebt voorkennis dat het IQ waarschijnlijk hoog is (rond 130).
Posterior = wat je denkt na het zien van de data
Na de data maak je de posterior probality:
- Bij prior 1: de posterior volgt precies de data: je hebt GEEN
verwachting. Alles wordt dan bepaald door de data.
- Bij prior 3: de posterior piekt boven de data uit en is heel zeker dat het
gemiddelde van de populatie in een smalle range tussen de data zit in het
midden. De data bevestigt namelijk dat het gemiddelde in het midden zit,
wat de prior ook al zei (en posterior = prior x likelihood). Hierdoor heb je
sterker bewijs voor die plek van de piek.
De posterior is de combinatie van: posterior = prior × likelihood (wordt meestal
door een computer uitgerekend). De posterior is een verdeling: De kans van elke
mogelijke μ na je data. → genormaliseerd zodat het een curve is.
De likelihood komt wél direct uit je data. Je neemt verschillende mogelijke waarden voor μ
👉
(bijv. 150, 160, 170, 180,…). Voor elke waarde bereken je hoe waarschijnlijk de
waargenomen data daarmee is De likelihood geeft een score voor elke mogelijke μ. Het
is dus geen enkel getal, maar een curve of reeks waardes.
De posteriorverdeling van de parameter(s) waarin we geïnteresseerd zijn, levert alle
gewenste schattingen op:
- Posterior mean of mode: het gemiddelde of de modus van de posteriorverdeling:
het gemiddelde / meest waarschijnlijke waarde van wat je na de data gelooft over de
parameter. → dus je beste schatting van de waarde
- Posterior SD: de standaarddeviatie van de posteriorverdeling (vergelijkbaar met de
frequentistische standaardfout, SE): Hoe onzeker je nog bent. Hoe groter de SD, hoe
minder precies je schatting.
- Posterior 95% credible interval: de grenzen van het gebied waar 95% van de
posteriormassa ligt. We denken dat de echte waarde
met 95% kans tussen deze twee grenzen zit.
Bayesian gaat uit van geobserveerde data; Frequentist gaat uit
van testing conditions gegeven de nulhypothese.
PMP = Posterior Model Probability → the (Bayesian) probability
of the hypothesis after observing the data
Bayesian probability of a hypothesis being true depends on two
criteria:
1. How sensible it is, based on prior knowledge (the prior)
2. How well it fits the new evidence (the data)
Bayesiaans testen is comparative: hypotheses are tested against one another, not in
isolation. Dit zie je ook in de bayes factor:
BF10 = 10 → Support for H1 is 10 times stronger than for H0
, BF = 1 → Support is as strong as support for H0 (even sterk)
Posterior-kansen van hypothesen (PMP) zijn ook relatieve kansen. PMPs zijn bijgewerkte
prior-kansen (voor hypothesen) met de Bayesiaanse methode. Je gebruikt Bayes om je
oude kans (prior) te combineren met nieuwe data, en zo een nieuwe kans (posterior) te
krijgen. PMP = geüpdatete kans op een hypothese nadat je nieuwe informatie hebt verwerkt.
Both frameworks use probability theory, but:
- Frequentist: probability is the relative frequency of events (more formal?)
- Bayesian: probability is the degree of belief (more intuitive?)
Frequentist 95% confidence interval (CI): If we were to repeat this experiment many times
and calculate a CI each time, 95% of the intervals will include the true parameter value (and
5% won’t). Als je hetzelfde experiment heel vaak herhaalt, zal in 95% van die gevallen het
berekende interval de echte waarde bevatten. Het zegt niets over één enkel interval, maar
over het lange-termijn percentage.
Bayesian 95% credible interval: There is 95% probability that the true value is in the credible
interval. Er is 95% kans dat de echte waarde in dit interval ligt, gegeven de data die je nu
hebt. Dit gaat dus wél over dit ene interval.
MULTIPLE LINEAR REGRESSION (MLR):
We gebruiken scatter plots (spreidingsdiagrammen) om de relatie tussen twee variabelen te
bekijken. We kunnen variabele y schatten van variabele x.
ŷ = voorspelde waarde van y
y = werkelijke waarde van y
Een residu is het verschil tussen de werkelijke waarde en de voorspelde
waarde van een datapunt → y − ŷ
Positief residu → het model onder voorspelde
Negatief residu → het model over voorspelde
→ het residu laat zien hoe goed of slecht het model de data voorspelt.
Hieruit willen we y schatten (uit 2 b’s dus multiple)
Alle resultaten zijn alleen betrouwbaar als de aannames van het model en de methode
ongeveer kloppen. Per model verschillen de aannames.
MLR (Meervoudige Lineaire Regressie) gaat ervan uit dat de uitkomst- en voorspellende
variabelen interval- of ratioschalen hebben.
MLR can handle dummy variables as predictors: een variabele die alleen 0 of 1 kan zijn.
B0 = het startpunt (gemiddelde cijfer als leeftijd 0 is en Geslacht = 0).
B1 = hoeveel het cijfer gemiddeld verandert als de leeftijd met 1 jaar stijgt.
B2 = het verschil in gemiddeld cijfer tussen de groep met dummy = 1 en de groep met
dummy = 0, terwijl de leeftijd hetzelfde blijft.
Frequentist vs Bayesian statistics:
- Frequentist framework: test how well the data fit H0 (NHST)
→ p-values, confidence intervals, effect sizes, power analyses
- Bayesian framework: probability of the hypothesis given the data, taking prior
information into account
→ Bayes factors, priors, posteriors, credible intervals
Frequentist estimation: empirical research uses collected data to learn from. Information in
this data is captured in a likelihood function. How much does something distribute to
something? → we want to make an estimation → likelihood.
- x-as → waarden van μ
- y-as → probability of the observed data voor elke waarde van μ : P(data|μ)
(likelihood)
Wat is de kans dat je een bepaalde waarde meet? Een gemiddelde lengte van kinderen
meet je sneller dan een heel lang kind.
Je wilt het gemiddelde weten van de hele populatie.
Frequentist approach: All relevant information for inference is contained in the likelihood
function.
Bayesian approach (met prior):
In addition to the data, we may also have prior information about μ → Je weet al dat een
basisschoolkind niet 2 meter gaat zijn.
Prior p(μ) (of prior distribution) = je voorkennis / aanname die je maakt over een onbekende
parameter vóórdat je de nieuwe data ziet. Het is dus niet één getal, maar meestal een
verdeling (bijv. “het gemiddelde zit waarschijnlijk rond 170 cm met een beetje onzekerheid”).
- Central idea/mechanism: prior knowledge is updated with information in the data and
together provides the posterior distribution for μ
- Advantage: accumulating knowledge (‘today’s posterior is tomorrow’s prior’)
- Disadvantage: results depend on choice of prior
- Je kunt blijven updaten met nieuwe data en nieuwe posterior als nieuwe prior
gebruiken en daarmee nieuwe posterior enzovoort…
Resultaten hangen af van keuze van prior. Priors kunnen gekozen worden dat ze niet mega
veranderingen maken.
posterior = likelihood × prior
Prior 1 – Volledig vlak (uniform op
Je hebt nul voorkennis.
Je vindt alle waarden even waarschijnlijk
Prior 2: Alle IQ-waarden tussen 40 en 160
zijn even waarschijnlijk. Buiten dat bereik is
het onmogelijk volgens deze prior.
,Prior 3: Waarden rond het midden zijn iets waarschijnlijker, maar vrijwel alle IQ’s tussen 40
en 160 zijn nog steeds redelijk mogelijk.
Prior 4: Sterke voorkennis: je gelooft dat het IQ waarschijnlijk rond 100 zit, met weinig
spreiding. Ook bij prior 5: Je hebt voorkennis dat het IQ waarschijnlijk hoog is (rond 130).
Posterior = wat je denkt na het zien van de data
Na de data maak je de posterior probality:
- Bij prior 1: de posterior volgt precies de data: je hebt GEEN
verwachting. Alles wordt dan bepaald door de data.
- Bij prior 3: de posterior piekt boven de data uit en is heel zeker dat het
gemiddelde van de populatie in een smalle range tussen de data zit in het
midden. De data bevestigt namelijk dat het gemiddelde in het midden zit,
wat de prior ook al zei (en posterior = prior x likelihood). Hierdoor heb je
sterker bewijs voor die plek van de piek.
De posterior is de combinatie van: posterior = prior × likelihood (wordt meestal
door een computer uitgerekend). De posterior is een verdeling: De kans van elke
mogelijke μ na je data. → genormaliseerd zodat het een curve is.
De likelihood komt wél direct uit je data. Je neemt verschillende mogelijke waarden voor μ
👉
(bijv. 150, 160, 170, 180,…). Voor elke waarde bereken je hoe waarschijnlijk de
waargenomen data daarmee is De likelihood geeft een score voor elke mogelijke μ. Het
is dus geen enkel getal, maar een curve of reeks waardes.
De posteriorverdeling van de parameter(s) waarin we geïnteresseerd zijn, levert alle
gewenste schattingen op:
- Posterior mean of mode: het gemiddelde of de modus van de posteriorverdeling:
het gemiddelde / meest waarschijnlijke waarde van wat je na de data gelooft over de
parameter. → dus je beste schatting van de waarde
- Posterior SD: de standaarddeviatie van de posteriorverdeling (vergelijkbaar met de
frequentistische standaardfout, SE): Hoe onzeker je nog bent. Hoe groter de SD, hoe
minder precies je schatting.
- Posterior 95% credible interval: de grenzen van het gebied waar 95% van de
posteriormassa ligt. We denken dat de echte waarde
met 95% kans tussen deze twee grenzen zit.
Bayesian gaat uit van geobserveerde data; Frequentist gaat uit
van testing conditions gegeven de nulhypothese.
PMP = Posterior Model Probability → the (Bayesian) probability
of the hypothesis after observing the data
Bayesian probability of a hypothesis being true depends on two
criteria:
1. How sensible it is, based on prior knowledge (the prior)
2. How well it fits the new evidence (the data)
Bayesiaans testen is comparative: hypotheses are tested against one another, not in
isolation. Dit zie je ook in de bayes factor:
BF10 = 10 → Support for H1 is 10 times stronger than for H0
, BF = 1 → Support is as strong as support for H0 (even sterk)
Posterior-kansen van hypothesen (PMP) zijn ook relatieve kansen. PMPs zijn bijgewerkte
prior-kansen (voor hypothesen) met de Bayesiaanse methode. Je gebruikt Bayes om je
oude kans (prior) te combineren met nieuwe data, en zo een nieuwe kans (posterior) te
krijgen. PMP = geüpdatete kans op een hypothese nadat je nieuwe informatie hebt verwerkt.
Both frameworks use probability theory, but:
- Frequentist: probability is the relative frequency of events (more formal?)
- Bayesian: probability is the degree of belief (more intuitive?)
Frequentist 95% confidence interval (CI): If we were to repeat this experiment many times
and calculate a CI each time, 95% of the intervals will include the true parameter value (and
5% won’t). Als je hetzelfde experiment heel vaak herhaalt, zal in 95% van die gevallen het
berekende interval de echte waarde bevatten. Het zegt niets over één enkel interval, maar
over het lange-termijn percentage.
Bayesian 95% credible interval: There is 95% probability that the true value is in the credible
interval. Er is 95% kans dat de echte waarde in dit interval ligt, gegeven de data die je nu
hebt. Dit gaat dus wél over dit ene interval.
MULTIPLE LINEAR REGRESSION (MLR):
We gebruiken scatter plots (spreidingsdiagrammen) om de relatie tussen twee variabelen te
bekijken. We kunnen variabele y schatten van variabele x.
ŷ = voorspelde waarde van y
y = werkelijke waarde van y
Een residu is het verschil tussen de werkelijke waarde en de voorspelde
waarde van een datapunt → y − ŷ
Positief residu → het model onder voorspelde
Negatief residu → het model over voorspelde
→ het residu laat zien hoe goed of slecht het model de data voorspelt.
Hieruit willen we y schatten (uit 2 b’s dus multiple)
Alle resultaten zijn alleen betrouwbaar als de aannames van het model en de methode
ongeveer kloppen. Per model verschillen de aannames.
MLR (Meervoudige Lineaire Regressie) gaat ervan uit dat de uitkomst- en voorspellende
variabelen interval- of ratioschalen hebben.
MLR can handle dummy variables as predictors: een variabele die alleen 0 of 1 kan zijn.
B0 = het startpunt (gemiddelde cijfer als leeftijd 0 is en Geslacht = 0).
B1 = hoeveel het cijfer gemiddeld verandert als de leeftijd met 1 jaar stijgt.
B2 = het verschil in gemiddeld cijfer tussen de groep met dummy = 1 en de groep met
dummy = 0, terwijl de leeftijd hetzelfde blijft.
