ARMS hoorcollege
aantekeningen
Hoorcollege 1
Frequentist framework: mainstream gebaseerd op 0 hypotheses, p-waarde, confidence intervals,
effect groottes en power analyses
Bayesian framework: toegenomen in aandacht sinds de replicatie crisis
Toegenomen kritiek tegen NHT-fouten, verkeerde interpretaties of resultaten, p-hacking, te veel
nadruk op significantie, studies met te weinig power
- Prior information over µ (naast likelihood function)
Centraal idee/mechanisme: prior kennis is geüpdatet met informatie over de data en samen zorgt dit
voor de Posterior distribution for µ
Voordeel: accumuleren van data (‘vandaag posterior is morgen weer prior’)
Nadeel: resultaten hangen af van de keuze van prior
Beide zijn gebaseerd op empirisch onderzoek en deze informatie wordt
gesorteerd in Likelihood function (bij bayesian en frequensist)
MLE (maximum likelihood estimation): De top in een model
1. Noninformtieve/ignorante prior
(flat/difuse): elke waarde heeft een
gelijke kans
Geen prior informatie, gewoon leren van de data.
Resultaat hetzelfde als frequentie
2. Flat prior met grenzen: Elke waarde heeft
een gelijke kans, maar met afkap
waarden, nog steeds non informatief en
gelijk met frequentie
3. Normale verdeling prior (flat/difuse):
weinig informatie maar iets meer kans in
het midden
4. Specifieke prior: Je weet waar het
gemiddelde ongeveer zit en hier heeft
een grote kans. Het is specifiek
Wanneer de data en de voorinformatie overeenkomen is de
posterior extra gepiekt, want posterior = data + prior
Bayesian schatting
Posterior distributie zorgt voor gewenste schatting
Posterior mean or mode: gemiddelde van posterior distributie
Posterior SD: SD van posterior distributie
Posterior 95% credible interval: Geeft grenzen voor waar 95% van de posterior massa zich bevindt
Credible interval is typerend voor de bayesiaanse methode
1
, Bayesian oplossing
De bayes condities zijn gebaseerd op geobserveerde data en frequentie op de H0
Pr (Hj|data): De kans dat hypothese Hj wordt support door de data
Pr(data|H0): P-waarde = kans dat de geobserveerde waarde gelijk of meer extreme data is gegeven
dat H0 de waarheid is
PMP= Posterior model probability
De (bayesiaanse proability van de hypothese na de data)
Er wordt dus daadwerkelijk naar de hypothese gekeken en niet naar of als de hypothese er niet is
Byesiaanse test is vergelijkend: hypothesis worden tegen elkaar getest en niet los (Bayes
factor)
BF10: P(data|H1)/P(data|H0)
10= support voor H1 is 10 keer sterker dan voor H0
1= support is gelijk
Het gaat hier om support en niet of de hypothese daadwerkelijk waar is
2 criteria of de hypothese waar is:
1) Hoe sensible het is gebaseerd op de huidige kennis (prior)
2) Hoe goed past het nieuwe bewijs (data)
Posterior probabilities of hypotheses (PMP) zijn ook relatieve kansen
Beide frames gebruikende probability theorie
Frequentie: probability is relatief frequentie
Frequentie 95% toevalsinterval: elke keer testen zal 95% van de intervallen de echte waarde hebben
Bayesiaan: probability is de mate van een geloof
Bayesian 95% credibility interval: 95% kans dat de waarde in het interval zit
Multiple regression
Lineare regressie: een lineaire verband gebaseerd op de afstand tussen verticale stippen (error in
prediction) de som hiervan is zo klein als mogelijk
Elke voorspeller heeft een eigen bx
Elke voorspeller heeft een relatie met Y
Model assumpties
- Serieuze overtredingen leiden tot incorrecte resultaten
- Soms zijn er makkelijke oplossingen (uitschieter verwijderen, kwadrateren) en soms niet
- Per model weet wat de assumpties zijn en check ze altijd
2
, MLR gaat uit van interval/ratio variabelen (uitkomsten en voorspellers)
Dummy variabelen: de categorische variabele met 1 of meer dummy variabelen vervangen. Dit is
altijd 0 (vergelijkingsgroep) en 1
Evalueren van het model
Frequentie: schatting van parameters van het model, test met NHST of parameters significant 0 zijn
Bv. H0= R2 = 0 vs. Ha: R2> 0 of β = 0 vs. β ≠ 0
Bayesian: schatting van parameters van het model, vergelijking van support in de date van
verschillende modellen/hypothese door gebruik van de Bayes factor
Adjusted R squared leidt tot een eerlijke schatting in de populatie. Toevoegen van variabelen zorgt
dat R squared altijd stijgt en de aangepaste versie kijkt of het ook echt iets toevoegde
B en β: unieke contributie. Het effect van combinatie van variabele
Hierarchical lineair regression analysis: verschillende modellen maken door verschillende dingen toe
te voegen in stappen. Hiermee test je niet of het een goed model is, maar verbeterd het model bij
toevoeging
Kijk naar R squared change en is dit statistisch (p-waarde)
Exploration of theorie evaluatie
Frequentie:
Method enter: data-analyse beslist wat er in het model gaat
Method stepwise: (forward/backward): het beste voorspellende model is gebaseerd op de
resultaten van deze sample
Kapitaliseren per ongeluk: er is altijd iets te vinden in een data set
Bayesiaan model selectie: in jasp is het soort van exploratief
BAIN van evaluatief informatieve hypothese geven -> confirmatory
Seminar 1
Je hebt de minste controle over de resultaten ondanks dat dit je carrière ervan afhangt
P-hacking: data verzamelen of selecteren voor statistische analyse tot niet significante resultaten
significant worden
P-HARKING: Je verandert je hypothese of maakt hem pas na je resultaten
3
aantekeningen
Hoorcollege 1
Frequentist framework: mainstream gebaseerd op 0 hypotheses, p-waarde, confidence intervals,
effect groottes en power analyses
Bayesian framework: toegenomen in aandacht sinds de replicatie crisis
Toegenomen kritiek tegen NHT-fouten, verkeerde interpretaties of resultaten, p-hacking, te veel
nadruk op significantie, studies met te weinig power
- Prior information over µ (naast likelihood function)
Centraal idee/mechanisme: prior kennis is geüpdatet met informatie over de data en samen zorgt dit
voor de Posterior distribution for µ
Voordeel: accumuleren van data (‘vandaag posterior is morgen weer prior’)
Nadeel: resultaten hangen af van de keuze van prior
Beide zijn gebaseerd op empirisch onderzoek en deze informatie wordt
gesorteerd in Likelihood function (bij bayesian en frequensist)
MLE (maximum likelihood estimation): De top in een model
1. Noninformtieve/ignorante prior
(flat/difuse): elke waarde heeft een
gelijke kans
Geen prior informatie, gewoon leren van de data.
Resultaat hetzelfde als frequentie
2. Flat prior met grenzen: Elke waarde heeft
een gelijke kans, maar met afkap
waarden, nog steeds non informatief en
gelijk met frequentie
3. Normale verdeling prior (flat/difuse):
weinig informatie maar iets meer kans in
het midden
4. Specifieke prior: Je weet waar het
gemiddelde ongeveer zit en hier heeft
een grote kans. Het is specifiek
Wanneer de data en de voorinformatie overeenkomen is de
posterior extra gepiekt, want posterior = data + prior
Bayesian schatting
Posterior distributie zorgt voor gewenste schatting
Posterior mean or mode: gemiddelde van posterior distributie
Posterior SD: SD van posterior distributie
Posterior 95% credible interval: Geeft grenzen voor waar 95% van de posterior massa zich bevindt
Credible interval is typerend voor de bayesiaanse methode
1
, Bayesian oplossing
De bayes condities zijn gebaseerd op geobserveerde data en frequentie op de H0
Pr (Hj|data): De kans dat hypothese Hj wordt support door de data
Pr(data|H0): P-waarde = kans dat de geobserveerde waarde gelijk of meer extreme data is gegeven
dat H0 de waarheid is
PMP= Posterior model probability
De (bayesiaanse proability van de hypothese na de data)
Er wordt dus daadwerkelijk naar de hypothese gekeken en niet naar of als de hypothese er niet is
Byesiaanse test is vergelijkend: hypothesis worden tegen elkaar getest en niet los (Bayes
factor)
BF10: P(data|H1)/P(data|H0)
10= support voor H1 is 10 keer sterker dan voor H0
1= support is gelijk
Het gaat hier om support en niet of de hypothese daadwerkelijk waar is
2 criteria of de hypothese waar is:
1) Hoe sensible het is gebaseerd op de huidige kennis (prior)
2) Hoe goed past het nieuwe bewijs (data)
Posterior probabilities of hypotheses (PMP) zijn ook relatieve kansen
Beide frames gebruikende probability theorie
Frequentie: probability is relatief frequentie
Frequentie 95% toevalsinterval: elke keer testen zal 95% van de intervallen de echte waarde hebben
Bayesiaan: probability is de mate van een geloof
Bayesian 95% credibility interval: 95% kans dat de waarde in het interval zit
Multiple regression
Lineare regressie: een lineaire verband gebaseerd op de afstand tussen verticale stippen (error in
prediction) de som hiervan is zo klein als mogelijk
Elke voorspeller heeft een eigen bx
Elke voorspeller heeft een relatie met Y
Model assumpties
- Serieuze overtredingen leiden tot incorrecte resultaten
- Soms zijn er makkelijke oplossingen (uitschieter verwijderen, kwadrateren) en soms niet
- Per model weet wat de assumpties zijn en check ze altijd
2
, MLR gaat uit van interval/ratio variabelen (uitkomsten en voorspellers)
Dummy variabelen: de categorische variabele met 1 of meer dummy variabelen vervangen. Dit is
altijd 0 (vergelijkingsgroep) en 1
Evalueren van het model
Frequentie: schatting van parameters van het model, test met NHST of parameters significant 0 zijn
Bv. H0= R2 = 0 vs. Ha: R2> 0 of β = 0 vs. β ≠ 0
Bayesian: schatting van parameters van het model, vergelijking van support in de date van
verschillende modellen/hypothese door gebruik van de Bayes factor
Adjusted R squared leidt tot een eerlijke schatting in de populatie. Toevoegen van variabelen zorgt
dat R squared altijd stijgt en de aangepaste versie kijkt of het ook echt iets toevoegde
B en β: unieke contributie. Het effect van combinatie van variabele
Hierarchical lineair regression analysis: verschillende modellen maken door verschillende dingen toe
te voegen in stappen. Hiermee test je niet of het een goed model is, maar verbeterd het model bij
toevoeging
Kijk naar R squared change en is dit statistisch (p-waarde)
Exploration of theorie evaluatie
Frequentie:
Method enter: data-analyse beslist wat er in het model gaat
Method stepwise: (forward/backward): het beste voorspellende model is gebaseerd op de
resultaten van deze sample
Kapitaliseren per ongeluk: er is altijd iets te vinden in een data set
Bayesiaan model selectie: in jasp is het soort van exploratief
BAIN van evaluatief informatieve hypothese geven -> confirmatory
Seminar 1
Je hebt de minste controle over de resultaten ondanks dat dit je carrière ervan afhangt
P-hacking: data verzamelen of selecteren voor statistische analyse tot niet significante resultaten
significant worden
P-HARKING: Je verandert je hypothese of maakt hem pas na je resultaten
3
