Summary Research Methods Clinical
Practice
Inhoudsopgave
Week 1...................................................................................................................................................3
Independent t-test.............................................................................................................................3
Regression analysis (categorische onafhankelijke variabele).............................................................5
One-way ANOVA................................................................................................................................6
Multiway ANOVA................................................................................................................................8
Article 1. - Kazdin: Evidence-based treatment and practice...............................................................9
Week 2.................................................................................................................................................13
Article 2. – Cohen: A power primer..................................................................................................13
Article 3. – Kraemer et al. : Measures of clinical significance...........................................................15
Week 3.................................................................................................................................................18
ANCOVA............................................................................................................................................18
Mixed ANOVA...................................................................................................................................21
Week 4.................................................................................................................................................23
Linear regression (onafhankelijke variabele is continu)....................................................................23
Simple linear regression...............................................................................................................24
Multiple linear regression.............................................................................................................25
Logistic Regression (afhankelijke variabele is dichotomous)............................................................26
Simple logistic regression.............................................................................................................27
Multiple logistic regression...........................................................................................................28
Week 5.................................................................................................................................................30
Moderation.......................................................................................................................................30
Moderatie met een nominale/categorie moderator....................................................................30
Moderatie met een continue moderator......................................................................................31
Mediation.........................................................................................................................................33
Week 6.................................................................................................................................................35
Article Cuijpers – Meta-analyses in mental health research.............................................................35
Book: Borenstein – Introduction to a meta-analysis.........................................................................38
Part 1: Introduction......................................................................................................................38
Part 2: Effect size and precision....................................................................................................40
Part 3: Fixed-effect versus random-effects models......................................................................41
Part 4: Heterogeneity...................................................................................................................45
1
, Samenvatting meta-analyse.............................................................................................................45
Meta-analysis...............................................................................................................................45
Meta-regression...........................................................................................................................47
Week 7.................................................................................................................................................48
Article Maric et al. – Evaluating statistical and clinical significance of intervention effects in single-
case experimental designs: an SPSS method to analyze univariate data..........................................48
Article Westen et al. – The empirical status of empirically supported psychotherapies:
assumptions, findings and reporting in controlled clinical trials.......................................................51
Samenvatting N=1 research and Assumptions RCTs.........................................................................53
Multilevel analysis for comparing averages between phases.......................................................55
Multilevel analysis for comparing endpoints and changes between phases................................55
2
,Week 1.
Nominal: = categorical a variable in categories, the number doesn’t say anything.
Continuous: example: weight, intensity of symptoms.
Independent: you manipulate as a researcher, you can manipulate the intervention, or
putting all male in one group and female in another group.
Dependent: you can measure the effect of the independent variable.
Standard deviation: measure of the spread of the scores in a variable, how the scores
are scattered around the average of a variable.
Standard error: it is the standard deviation of the sampling distribution. A measure of
the reliability of the differences between groups. How reliable the difference between
groups is measured. Lots of people you test more reliable standard error goes down.
Small standard error means t-value goes up.
Alpha = false positive. This is called
type 1 error, meaning that you have
wrongfully rejected H0, this is also
called a false positive. You conclude
there are differences between groups,
but in reality there are no differences.
Beta = false negative, you conclude
there are no differences between
groups but in fact there are. Type 2
error.
Independent t-test
Negative t-value: intervention is not working
Wat doet deze methode?
Deze test wordt gebruikt wanneer twee groepen aan twee
verschillende condities worden onderworpen en je de scores
van de groepen met elkaar wilt vergelijken.
Voorbeeld: Je dient koffie toe om het effect van koffie op een
reactietaak te meten. De helft van de proefpersonen krijgt
koffie voordat de reactietaak wordt gedaan en de andere helft niet.
Wat zijn de assumpties?
1. Dependent variable should be continuous: no categories
2. Variances of dependent variable should be equal in both groups : =
homogeneity of variance. You would like to have the two groups score
approximately the same on the dependent variable.
Check in SPSS with levene’s test shouldn’t be significant
P > .05 look at : ‘equal variances assumed’
P < .05 look at: ‘equal variances not assumed’
3. Data should be independent: you dont want the different groups to be
treated by the same therapist, in that case the therapist can influence the
results.
Randomization of participants = assumption is met
3
, Wanneer hier niet aan voldaan wordt kan dit grote gevolgen
hebben. Wanneer bijvoorbeeld allebei de groepen behandelt worden
door één en dezelfde therapeut, dan kan de therapeut de
deelnemers beïnvloeden naar verwachting van de therapeut. Als de
therapeut verwacht dat de interventie groep aan het einde van het
onderzoek minder angst ervaart dan de wachtlijst groep, dan kan de
therapeut hier (soms onbewust) aan bijdragen door meer zijn/haar
best te doen bij de interventie groep. Het gevolg hiervan is dat aan
het einde van het onderzoek geconcludeerd wordt dat de
interventie werkt, terwijl dit eigenlijk veroorzaakt wordt door de
therapeut die beter haar best doet in de interventie groep in
vergelijking met de wachtlijst groep. De interventie wordt dan
misschien ingezet in de populatie terwijl deze eigenlijk niet werkt.
4. Dependent variable should be normally distributed in each group : alle
deelnemers in elke groep moeten in gelijke mate herstelt zijn (of niet). Het
moet niet zo zijn dat de ene helft van de deelnemers helemaal klachten vrij
is aan het eind terwijl de andere groep dit niet heeft. parabool!
Check dit in SPSS door: Analyze descriptive statistics Explore.
Shapiro Wilk is beter voor kleinere samples (n = 30 is klein)
Significante moet groter zijn dan .05
Je kan ook in een Q Q plot kijken.
Wanneer de datapunten ongeveer op de lijn liggen kan je
aannemen dat er voldaan is aan de aanname van
normaliteit.
Je kan ook naar de histogrammen kijken
Dit moet een parabool vormen, bell shaped.
Hoe doe je dit in SPSS?
Zie filmpjes youtube
Hoe kan je de resultaten interpreteren? Hoe schrijf je deze resultaten
op?
Gemiddeld scoorden de deelnemers uit de mCGT groep lager op social anxiety
klachten (M = 64.47, SE = 1.19 of SD = 9.21) dan deelnemers uit de wachtlijst
controle conditie (M = 68.64, SE = 0.94 of SD = 8.40). Dit verschil (4.17) was
significant, t(138) = 2.70, p = .006.
a. Algemene interpretatie: Gemiddeld scoorden de deelnemers uit de groep X lager
op de afhankelijke variabele (M =, SE =) dan deelnemers uit groep X (M =, SE =).
Dit verschil () was significant, t() =, p = ..
o Wanneer p > .05 is dan is het niet significant. Je interpreteert dan: social
anxiety klachten op de posttest verschillen niet significant tussen mCGT en
wachtlijste controle groep. Een foute interpretatie zou zijn:
Klachten zijn gelijk voor beide groepen
Klachten verschillen niet tussen beide groepen.
Hoe schrijf je dit als een GLM?
Y (i) = b0 + b1*x(i) + error (i)
o Y(i) = social anxiety complaints (LSAS) op de posttest voor deelnemer (i)
o X(i) = de conditie waartoe de deelnemer (i) behoort
(ofwel 0 = wachtlijst, ofwel 1 = mCGT)
o B0 = intercept = dit is de gemiddelde social anxiety
complaints (LSAS) op de posttest (na het onderzoek)
in de wachtlijst conditie (door de 0 achter de B)
o B1 = slope = dit is het verschil in de gemiddelde mate
van social anxiety klachten (LSAS) op de posttest
tussen de groepen mCGT (x = 1) en wachtlijst controle
groep (x = 0).
o Error (i) = het verschil tussen de geobserveerde en
geschatte score voor social anxiety klachten op de
posttest voor deelnemer (i).
4
Practice
Inhoudsopgave
Week 1...................................................................................................................................................3
Independent t-test.............................................................................................................................3
Regression analysis (categorische onafhankelijke variabele).............................................................5
One-way ANOVA................................................................................................................................6
Multiway ANOVA................................................................................................................................8
Article 1. - Kazdin: Evidence-based treatment and practice...............................................................9
Week 2.................................................................................................................................................13
Article 2. – Cohen: A power primer..................................................................................................13
Article 3. – Kraemer et al. : Measures of clinical significance...........................................................15
Week 3.................................................................................................................................................18
ANCOVA............................................................................................................................................18
Mixed ANOVA...................................................................................................................................21
Week 4.................................................................................................................................................23
Linear regression (onafhankelijke variabele is continu)....................................................................23
Simple linear regression...............................................................................................................24
Multiple linear regression.............................................................................................................25
Logistic Regression (afhankelijke variabele is dichotomous)............................................................26
Simple logistic regression.............................................................................................................27
Multiple logistic regression...........................................................................................................28
Week 5.................................................................................................................................................30
Moderation.......................................................................................................................................30
Moderatie met een nominale/categorie moderator....................................................................30
Moderatie met een continue moderator......................................................................................31
Mediation.........................................................................................................................................33
Week 6.................................................................................................................................................35
Article Cuijpers – Meta-analyses in mental health research.............................................................35
Book: Borenstein – Introduction to a meta-analysis.........................................................................38
Part 1: Introduction......................................................................................................................38
Part 2: Effect size and precision....................................................................................................40
Part 3: Fixed-effect versus random-effects models......................................................................41
Part 4: Heterogeneity...................................................................................................................45
1
, Samenvatting meta-analyse.............................................................................................................45
Meta-analysis...............................................................................................................................45
Meta-regression...........................................................................................................................47
Week 7.................................................................................................................................................48
Article Maric et al. – Evaluating statistical and clinical significance of intervention effects in single-
case experimental designs: an SPSS method to analyze univariate data..........................................48
Article Westen et al. – The empirical status of empirically supported psychotherapies:
assumptions, findings and reporting in controlled clinical trials.......................................................51
Samenvatting N=1 research and Assumptions RCTs.........................................................................53
Multilevel analysis for comparing averages between phases.......................................................55
Multilevel analysis for comparing endpoints and changes between phases................................55
2
,Week 1.
Nominal: = categorical a variable in categories, the number doesn’t say anything.
Continuous: example: weight, intensity of symptoms.
Independent: you manipulate as a researcher, you can manipulate the intervention, or
putting all male in one group and female in another group.
Dependent: you can measure the effect of the independent variable.
Standard deviation: measure of the spread of the scores in a variable, how the scores
are scattered around the average of a variable.
Standard error: it is the standard deviation of the sampling distribution. A measure of
the reliability of the differences between groups. How reliable the difference between
groups is measured. Lots of people you test more reliable standard error goes down.
Small standard error means t-value goes up.
Alpha = false positive. This is called
type 1 error, meaning that you have
wrongfully rejected H0, this is also
called a false positive. You conclude
there are differences between groups,
but in reality there are no differences.
Beta = false negative, you conclude
there are no differences between
groups but in fact there are. Type 2
error.
Independent t-test
Negative t-value: intervention is not working
Wat doet deze methode?
Deze test wordt gebruikt wanneer twee groepen aan twee
verschillende condities worden onderworpen en je de scores
van de groepen met elkaar wilt vergelijken.
Voorbeeld: Je dient koffie toe om het effect van koffie op een
reactietaak te meten. De helft van de proefpersonen krijgt
koffie voordat de reactietaak wordt gedaan en de andere helft niet.
Wat zijn de assumpties?
1. Dependent variable should be continuous: no categories
2. Variances of dependent variable should be equal in both groups : =
homogeneity of variance. You would like to have the two groups score
approximately the same on the dependent variable.
Check in SPSS with levene’s test shouldn’t be significant
P > .05 look at : ‘equal variances assumed’
P < .05 look at: ‘equal variances not assumed’
3. Data should be independent: you dont want the different groups to be
treated by the same therapist, in that case the therapist can influence the
results.
Randomization of participants = assumption is met
3
, Wanneer hier niet aan voldaan wordt kan dit grote gevolgen
hebben. Wanneer bijvoorbeeld allebei de groepen behandelt worden
door één en dezelfde therapeut, dan kan de therapeut de
deelnemers beïnvloeden naar verwachting van de therapeut. Als de
therapeut verwacht dat de interventie groep aan het einde van het
onderzoek minder angst ervaart dan de wachtlijst groep, dan kan de
therapeut hier (soms onbewust) aan bijdragen door meer zijn/haar
best te doen bij de interventie groep. Het gevolg hiervan is dat aan
het einde van het onderzoek geconcludeerd wordt dat de
interventie werkt, terwijl dit eigenlijk veroorzaakt wordt door de
therapeut die beter haar best doet in de interventie groep in
vergelijking met de wachtlijst groep. De interventie wordt dan
misschien ingezet in de populatie terwijl deze eigenlijk niet werkt.
4. Dependent variable should be normally distributed in each group : alle
deelnemers in elke groep moeten in gelijke mate herstelt zijn (of niet). Het
moet niet zo zijn dat de ene helft van de deelnemers helemaal klachten vrij
is aan het eind terwijl de andere groep dit niet heeft. parabool!
Check dit in SPSS door: Analyze descriptive statistics Explore.
Shapiro Wilk is beter voor kleinere samples (n = 30 is klein)
Significante moet groter zijn dan .05
Je kan ook in een Q Q plot kijken.
Wanneer de datapunten ongeveer op de lijn liggen kan je
aannemen dat er voldaan is aan de aanname van
normaliteit.
Je kan ook naar de histogrammen kijken
Dit moet een parabool vormen, bell shaped.
Hoe doe je dit in SPSS?
Zie filmpjes youtube
Hoe kan je de resultaten interpreteren? Hoe schrijf je deze resultaten
op?
Gemiddeld scoorden de deelnemers uit de mCGT groep lager op social anxiety
klachten (M = 64.47, SE = 1.19 of SD = 9.21) dan deelnemers uit de wachtlijst
controle conditie (M = 68.64, SE = 0.94 of SD = 8.40). Dit verschil (4.17) was
significant, t(138) = 2.70, p = .006.
a. Algemene interpretatie: Gemiddeld scoorden de deelnemers uit de groep X lager
op de afhankelijke variabele (M =, SE =) dan deelnemers uit groep X (M =, SE =).
Dit verschil () was significant, t() =, p = ..
o Wanneer p > .05 is dan is het niet significant. Je interpreteert dan: social
anxiety klachten op de posttest verschillen niet significant tussen mCGT en
wachtlijste controle groep. Een foute interpretatie zou zijn:
Klachten zijn gelijk voor beide groepen
Klachten verschillen niet tussen beide groepen.
Hoe schrijf je dit als een GLM?
Y (i) = b0 + b1*x(i) + error (i)
o Y(i) = social anxiety complaints (LSAS) op de posttest voor deelnemer (i)
o X(i) = de conditie waartoe de deelnemer (i) behoort
(ofwel 0 = wachtlijst, ofwel 1 = mCGT)
o B0 = intercept = dit is de gemiddelde social anxiety
complaints (LSAS) op de posttest (na het onderzoek)
in de wachtlijst conditie (door de 0 achter de B)
o B1 = slope = dit is het verschil in de gemiddelde mate
van social anxiety klachten (LSAS) op de posttest
tussen de groepen mCGT (x = 1) en wachtlijst controle
groep (x = 0).
o Error (i) = het verschil tussen de geobserveerde en
geschatte score voor social anxiety klachten op de
posttest voor deelnemer (i).
4
