Samenvatting ARMS
Frequentist framework = hoe goed de data past bij de H0 (NHST)
P-waardes, betrouwbaarheidsintervallen (confidence), effectgroottes
en poweranalyses
o Testen parameters significant ongelijk aan nul?
Bayesian framework = waarschijnlijkheid (probability) van de hypothese
gegeven de data, rekening houdend met voorafgaande informatie (prior)
Bayes factor (BF), posteriors, priors, credible intervallen (CI)
o Zo lang blijven doen als je wilt; continu bijwerken van
voorkennis met info uit data
o Resultaten zijn afhankelijk van de keuze voor prior
subjectief
Niet afhankelijk van steekproef ; alleen waargenomen
gegevens
o Vergelijken bewijs voor verschillende modellen/hypotheses
Bewijs voor nulhypothese zelfs
Informatieve hypotheses evalueren
Empirisch onderzoek gebruikt verzamelde data om van te leren. Informatie
in deze gegevens wordt vastgelegd in een likelihood functie. De
posterieure verdeling is een combinatie van de prior en de likelihood.
- P (data | u ) = likelihood
o X-as : waarden voor μ
o Y-as : probability van de geobserveerde data voor elke waarde
van u
- Doordat we niet alle mensen in populatie kunnen meenemen, doen
we een voorspelling
- Bij de frequentist methode wordt alle relevante info meegenomen en
bij bayesian methode is er ook voorafgaande informatie hierover.
,Voorbeeld
De prior heeft invloed op de
posterior
o Data bewijs voor verwachting? versterken dus enorme piek
Posterior mean or mode: gemiddelde of modus van posterior
destribution (verdeling)
Posterior SD: SD van de posterior verdeling (bij frequentist SE)
Posterior 95% credible interval: grens van deel van posterieure
verdeling met 95% van de posterior mass
De linker prior is minst informatief;
want een waarde tussen 0-10 geeft
een gelijke kans
De middelste prior heeft een posterior mean van 4 als het
gemiddelde 8 is
o Kleine waardes voor u zijn waarschijnlijker dan grote waardes
o De compromis tussen data (M=8) en de prior zal daarom
resulteren in een waarde lager dan 4
Voorbeeld hypothese testen; stel een vrouw gokt en ze heeft er 5 van de 6
goed
- Stel je hebt p : .031, wat is kans dat het aan haar ligt?
o H0 niet verwerpen en zeggen dat het aan haar ligt
- Stel je hebt p : .031, wat is kans totdat ze er eentje fout heeft?
o Significant
Het verschilt per resultaat hoe je je doel of plan opstelt. Dezelfde data kan
verschillende resultaten geven!
,De kans dat een hypothese gesupported wordt
door de data is (kans H0 waar) NIET gelijk aan de
kans dat je dezelfde of meer extreme data
observeert, gegeven dat de nulhypothese waar
is.
De waarschijnlijkheid bij de Bayesian kan bepaald worden aan de hand van
PMP: posterior model probability (samen tot 1) = de bayesiaanse
waarschijnlijkheid van de hypothese na het observeren van de data
1. Afhankelijk van hoe aannemelijk (sensible) de hypothese is
gebaseerd op voorkennis (prior)
2. Afhankelijke van hoe goed deze fit met nieuwe bewijs (data)
Bayesian testing is dus comparative (vergelijkend); de hypotheses worden
met elkaar getoetst en niet afzonderlijk.
De Bayes factor
- BF10 = 10 ; support voor H1 10 keer sterker
dan H0
- BF10 = 1 ; support H1 en H0 gelijk
PMP zijn relatieve waarschijnlijkheden; het zijn de updates van prior
probabilities met de BF.
Definitie probability ; beide methodes gebruiken het
- Frequentist = waarschijnlijkheid van gebeurtenis wordt
veronderstel door frequentie waarmee deze plaatsvindt
o Waarschijnlijkheid om deze gegevens waar te nemen, gegeven
dat de nulhypothese waar is
- Bayesian = waarschijnlijkheid is de mate van geloof (intuïtiever)
o
o Voor schatten (estimating) én hypothese testing
, Frequentist 95% confidence interval (CI) = herhalen van experiment
dan elke keer een CI berekenen, dan 95% van intervallen in deze
parameterwaardes vallen
Bayesian 95% credible interval = 95% kans dat werkelijke waarde zich
in CI bevindt
Voorbeeld output frequentist
- R = correlatie coëfficiënt
- R2 = proportie van variantie die ons model kan verklaren (in de
sample!)
o Percentage (bv. 13.5%)
o Kan nooit afnemen bij toevoegen van variabele!!
- Adjusted R2 = verklaarde variantie in werkelijke populatie
o Altijd lager want er is een soort correctie die eraf gaat
- P-waarde = F-test om te kijken of resultaat random is of niet
Overfitting = model met veel OV kan veel variantie in één steekproef
verklaren, simpelweg vanwege willekeurige patronen in de data. Echter
zou deze veel slechter presteren in andere steekproef…
De R-kwadraatverandering (R2 change) is de verandering in R-kwadraat
wanneer voorspellers aan een model worden toegevoegd (of uit een model
worden verwijderd).
Voorbeeld regressie vergelijking
Frequentist framework = hoe goed de data past bij de H0 (NHST)
P-waardes, betrouwbaarheidsintervallen (confidence), effectgroottes
en poweranalyses
o Testen parameters significant ongelijk aan nul?
Bayesian framework = waarschijnlijkheid (probability) van de hypothese
gegeven de data, rekening houdend met voorafgaande informatie (prior)
Bayes factor (BF), posteriors, priors, credible intervallen (CI)
o Zo lang blijven doen als je wilt; continu bijwerken van
voorkennis met info uit data
o Resultaten zijn afhankelijk van de keuze voor prior
subjectief
Niet afhankelijk van steekproef ; alleen waargenomen
gegevens
o Vergelijken bewijs voor verschillende modellen/hypotheses
Bewijs voor nulhypothese zelfs
Informatieve hypotheses evalueren
Empirisch onderzoek gebruikt verzamelde data om van te leren. Informatie
in deze gegevens wordt vastgelegd in een likelihood functie. De
posterieure verdeling is een combinatie van de prior en de likelihood.
- P (data | u ) = likelihood
o X-as : waarden voor μ
o Y-as : probability van de geobserveerde data voor elke waarde
van u
- Doordat we niet alle mensen in populatie kunnen meenemen, doen
we een voorspelling
- Bij de frequentist methode wordt alle relevante info meegenomen en
bij bayesian methode is er ook voorafgaande informatie hierover.
,Voorbeeld
De prior heeft invloed op de
posterior
o Data bewijs voor verwachting? versterken dus enorme piek
Posterior mean or mode: gemiddelde of modus van posterior
destribution (verdeling)
Posterior SD: SD van de posterior verdeling (bij frequentist SE)
Posterior 95% credible interval: grens van deel van posterieure
verdeling met 95% van de posterior mass
De linker prior is minst informatief;
want een waarde tussen 0-10 geeft
een gelijke kans
De middelste prior heeft een posterior mean van 4 als het
gemiddelde 8 is
o Kleine waardes voor u zijn waarschijnlijker dan grote waardes
o De compromis tussen data (M=8) en de prior zal daarom
resulteren in een waarde lager dan 4
Voorbeeld hypothese testen; stel een vrouw gokt en ze heeft er 5 van de 6
goed
- Stel je hebt p : .031, wat is kans dat het aan haar ligt?
o H0 niet verwerpen en zeggen dat het aan haar ligt
- Stel je hebt p : .031, wat is kans totdat ze er eentje fout heeft?
o Significant
Het verschilt per resultaat hoe je je doel of plan opstelt. Dezelfde data kan
verschillende resultaten geven!
,De kans dat een hypothese gesupported wordt
door de data is (kans H0 waar) NIET gelijk aan de
kans dat je dezelfde of meer extreme data
observeert, gegeven dat de nulhypothese waar
is.
De waarschijnlijkheid bij de Bayesian kan bepaald worden aan de hand van
PMP: posterior model probability (samen tot 1) = de bayesiaanse
waarschijnlijkheid van de hypothese na het observeren van de data
1. Afhankelijk van hoe aannemelijk (sensible) de hypothese is
gebaseerd op voorkennis (prior)
2. Afhankelijke van hoe goed deze fit met nieuwe bewijs (data)
Bayesian testing is dus comparative (vergelijkend); de hypotheses worden
met elkaar getoetst en niet afzonderlijk.
De Bayes factor
- BF10 = 10 ; support voor H1 10 keer sterker
dan H0
- BF10 = 1 ; support H1 en H0 gelijk
PMP zijn relatieve waarschijnlijkheden; het zijn de updates van prior
probabilities met de BF.
Definitie probability ; beide methodes gebruiken het
- Frequentist = waarschijnlijkheid van gebeurtenis wordt
veronderstel door frequentie waarmee deze plaatsvindt
o Waarschijnlijkheid om deze gegevens waar te nemen, gegeven
dat de nulhypothese waar is
- Bayesian = waarschijnlijkheid is de mate van geloof (intuïtiever)
o
o Voor schatten (estimating) én hypothese testing
, Frequentist 95% confidence interval (CI) = herhalen van experiment
dan elke keer een CI berekenen, dan 95% van intervallen in deze
parameterwaardes vallen
Bayesian 95% credible interval = 95% kans dat werkelijke waarde zich
in CI bevindt
Voorbeeld output frequentist
- R = correlatie coëfficiënt
- R2 = proportie van variantie die ons model kan verklaren (in de
sample!)
o Percentage (bv. 13.5%)
o Kan nooit afnemen bij toevoegen van variabele!!
- Adjusted R2 = verklaarde variantie in werkelijke populatie
o Altijd lager want er is een soort correctie die eraf gaat
- P-waarde = F-test om te kijken of resultaat random is of niet
Overfitting = model met veel OV kan veel variantie in één steekproef
verklaren, simpelweg vanwege willekeurige patronen in de data. Echter
zou deze veel slechter presteren in andere steekproef…
De R-kwadraatverandering (R2 change) is de verandering in R-kwadraat
wanneer voorspellers aan een model worden toegevoegd (of uit een model
worden verwijderd).
Voorbeeld regressie vergelijking
