HC 1 – Correlationeel: Surveys
Survey survey design respondents answers prepare data analyze
Correlationeel onderzoek: is er een samenhang tussen variabelen? Is er een positief/negatief
verband?
Sinds 2000 steeds meer data: meer apparaten die data verzamelen.
Verschillende manieren waarop data kan ontstaan:
- Incidentally (organisch, ready made) (aspirational (via social media), transactional (creëer je
zelf door de handelingen die je doet, bv betalen))
- Purposively (designed, bewust, custom made) (experiment, survey, administrative (bv
belastingsdienst))
We design a study and collect data to
- Beschrijven sociale realiteit
- Bestuderen (causale) relaties
- Generaliseren van de doelgroep (inferentie: )
Inferential goals:
- Beschrijven (CBS)
- Causatie (veroorzaakt het één het ander?)
- Voorspellen (wat denken we dat er aan gaat komen?)
How to ask? Survey modes
- Face to face (CAPI) (computer-assisted personalized interview)
- Post (bv van de gemeente)
- Telefoon (CATI) (computer-assisted telephone interview)
- Internet
- Mixed-mode
Differences between the modes
- Degree of interviewer involvement
- Degree of interaction with the respondent
- Degree of privacy
- Channels of communication (visual, auditive)
- Technology use
Vergelijkingstabel survey modes
attribute Face-to-face mail telephone Internet
Cost hoog laag gemiddeld Laag
Response rate Hoog laag hoog gemiddeld
Researcher hoog laag gemiddeld gemiddeld
control over
interview
Interviewer hoog laag gemiddeld laag
effects
Survey modes in NL
- Population register & over 90% internet use (telephone surveys (random digit dialing) not
widely used)
- Mixed modes (postal mail with invitations to internet surveys & telephone component if
numbers are known)
, - Market Researchers use both probability and nonprobability online panels (willekeurig & niet
willekeurig)
- Mixed-device surveys (computer/smartphone)
Een manier is niet goed of fout maar je moet verantwoording kunnen afleggen over waarom je
het doet (of zo) 😉😊☹BIJNA PAUZE😊😊😊😊😊😊😊😊😊
Types of mixed-mode design
- One mode for some respondents, another mode for others (bv online survey with mail
component for those without internet)
- One mode for recruitment, another for survey administration (mail invitation for an online
survey)
- One mode for data collection, another for reminders, follow-up (telephone reminders for an
online survey)
- One mode for main part of the interview, another for subset of answers (e.g. sensitive)
(telephone & audio computer self-administered (ACASI))
Cross-sectional and panel surveys
- Panel surveys interview respondents over time (content usually the same, but may differ).
Grotere groep, meerdere keren gevraagd over de tijd heen. Om causale verbanden te krijgen,
ontwikkeling beschrijven.
- Advantages: we can assess within-person change & causality. We can disentangle age, ….
- Potential errors:
Attrition (drop-out, consecutive wave-nonresponse)
Panel conditioning (AKA learning effects) als mensen ergens bekend mee raken gaan ze
sneller/minder serieus antwoorden omdat ze al iets verwacchten.
Prepare data
Operational process: construct (PTSD) > conceptual definition > operational definition (PTSD
questionnaire) > variable (how?)
Creating a variable
Goal: create 1 score that indicates severity of PTSD
Option 1:
- Sum of item scores
Option 2:
- Average all item scores
- Can still be calculated with a few missing values
(Option 3:
- Gewogen gemiddelde)
Reversely phrased items should be reversely coded (recoding).
Calculating the scale score.
- With the reversely coded items a scale score can now be calculated
- PTSD scale score = mean across all items reverse……..
HC 2 – Correlationeel: Betrouwbaarheid & Introductie op
regressie
Hoe beoordeel je of iets een goed meetinstrument is? Betrouwbaarheid en validiteit.
,Betrouwbaarheid gaat over herhaalbaarheid. Als je het nog een keer doet, komt er dan ongeveer
hetzelfde uit? Het zou dezelfde resultaten moeten opleveren. (precision) consistentie vd meting
Validiteit: meet het wat je wil meten? (accuracy) correctheid vd meting.
- Gezichtsvaliditeit: vind ik dit redelijk? Komt dit overeen met hoe ik denk dat het zou moeten?
- Inhoudsvaliditeit: meet het alle aspecten die ik wil meten?
- Convergente validiteit: komt het overeen met een andere meting die hetzelfde beoogt te
meten? (2 dingen die hetzelfde meten moeten dezelfde uitkomst hebben)
- Divergente validiteit: meet het NIET hetzelfde als iets anders? (meetinstrumenten die iets
anders meten moeten niet dezelfde uitkomst hebben)
- Criteriumvaliditeit: voorspelt het een uitkomst?
We meten de kracht van een relatie met een correlatie. Weergeeft een mate van kracht (hoger getal
is sterkere relatie) en richting (+/-) van een lineaire relatie tussen 2 interval/ratio variabelen. Wordt
weergeven als r met een waarde tussen -1 en +1.
Betrouwbaarheid:
- Test-hertest betrouwbaarheid: is er ongeveer dezelfde uitkomst op moment 1 en 2 (als er
tussendoor niet teveel veranderingen zijn geweest)?
- Interbeoordelaarsbetrouwbaarheid: krijgen meerdere beoordelaars dezelfde uitkomsten?
- Interne betrouwbaarheid: hangen de dingen in een meetinstrument met elkaar samen?
Cronbach’s Alpha meet interne consistentie (tot welke mate correleren de items binnen een
survey?). Om betrouwbaarheidsanalyses te gebruiken, moeten alle items gecodeerd worden in
dezelfde richting.
o Alpha <0,7 zwak
o Alpha >0,8 goed
Maar hang af van het doel waarom je het doet.
Schaal verbeteren:
Check correlaties tussen individuele items en de schaal zonder dat item (item-reset correlation of
item-total correlation). Vuistregel: rit < +- 0.2 item mag verwijderd worden?
Check ook wat gebeurt met Cronbach’s Alpha als de schaal zonder dat item was (Cronbach’s Alpha if
item deleted). Vuistregel: α stijgt het meest item mag verwijderd worden
NHST stappen:
1. Formuleer H0 en HA
2. Verzamel data
3. Bereken de p-waarde
4. Bepaal of H0 wel of niet verworpen moet worden
Correlatie geeft informatie over kracht en richting van de relatie.
Regressie beschrijft een vergelijking van een lineaire relatie, en maakt voorspellingen waarbij de
vergelijking gebruikt wordt.
Variabele die wordt voorspeld:
- Genoteerd als y
- Afhankelijke variabele
Variabele die voorspelt:
- Genoteerd als x
- Afhankelijke variabele
Least Squares Regression
Regressielijn: lijn door alle punten heen ofzo
, Residuen: afstanden van de puntjes tot de regressielijn.
Kleine spreiding: accurate voorspelling, goede inschatting maken. hoe kleiner de spreiding, hoe
accurater de voorspellingen, hoe beter de regressielijn.
Standard error of the estimate: hoe accuraat is de voorspelling? (standaard schattingsfout)
- Standaardafwijking van de residue
Regression equation
- Wordt bepaald door wiskundig de kleinste som van squared residuals te bepalen
- Kan worden gebruikt om voorspellingen te maken
- Wordt geschreven als
HC 3 – Correlationeel: Regressie
SLR (simple linear regression)
MLR (multiple linear regression)
Root mean square error = standaard error in jasp
Unstandardized = voorspellingsvergelijking (zelfde als in spss)
2 testen om te kijken naar significant effect:
- Test for the slope
H0:B1=0
HA:B1≠0
Dmv t-test
- Test for explained variance
F-test (ANOVA in jasp??)
Determines if the proportion of explained variance is significantly larger than 0
Sum of squares (foto)
Gestandaardiseerde regressiecoëfficiënt: Meet toename of afname van Y in SD’s als X toeneemt met
1 SD
Als ptsd score toeneemt
met 1 SD, neemt productiviteitsscore af met 0.533 SD.
Assumpties
Validiteit: Past de data wel bij de onderzoeksvraag?
1. Er is een lineaire relatie tussen onafhankelijke en afhankelijke variabele
2. Onafhankelijke en afhankelijke variabele moeten van interval/ratio niveau zijn
3. Residuen zijn normaal verdeeld (je wil evenveel onderschatten als overschatten) (kun je
checken met histogram van de residuen)
Survey survey design respondents answers prepare data analyze
Correlationeel onderzoek: is er een samenhang tussen variabelen? Is er een positief/negatief
verband?
Sinds 2000 steeds meer data: meer apparaten die data verzamelen.
Verschillende manieren waarop data kan ontstaan:
- Incidentally (organisch, ready made) (aspirational (via social media), transactional (creëer je
zelf door de handelingen die je doet, bv betalen))
- Purposively (designed, bewust, custom made) (experiment, survey, administrative (bv
belastingsdienst))
We design a study and collect data to
- Beschrijven sociale realiteit
- Bestuderen (causale) relaties
- Generaliseren van de doelgroep (inferentie: )
Inferential goals:
- Beschrijven (CBS)
- Causatie (veroorzaakt het één het ander?)
- Voorspellen (wat denken we dat er aan gaat komen?)
How to ask? Survey modes
- Face to face (CAPI) (computer-assisted personalized interview)
- Post (bv van de gemeente)
- Telefoon (CATI) (computer-assisted telephone interview)
- Internet
- Mixed-mode
Differences between the modes
- Degree of interviewer involvement
- Degree of interaction with the respondent
- Degree of privacy
- Channels of communication (visual, auditive)
- Technology use
Vergelijkingstabel survey modes
attribute Face-to-face mail telephone Internet
Cost hoog laag gemiddeld Laag
Response rate Hoog laag hoog gemiddeld
Researcher hoog laag gemiddeld gemiddeld
control over
interview
Interviewer hoog laag gemiddeld laag
effects
Survey modes in NL
- Population register & over 90% internet use (telephone surveys (random digit dialing) not
widely used)
- Mixed modes (postal mail with invitations to internet surveys & telephone component if
numbers are known)
, - Market Researchers use both probability and nonprobability online panels (willekeurig & niet
willekeurig)
- Mixed-device surveys (computer/smartphone)
Een manier is niet goed of fout maar je moet verantwoording kunnen afleggen over waarom je
het doet (of zo) 😉😊☹BIJNA PAUZE😊😊😊😊😊😊😊😊😊
Types of mixed-mode design
- One mode for some respondents, another mode for others (bv online survey with mail
component for those without internet)
- One mode for recruitment, another for survey administration (mail invitation for an online
survey)
- One mode for data collection, another for reminders, follow-up (telephone reminders for an
online survey)
- One mode for main part of the interview, another for subset of answers (e.g. sensitive)
(telephone & audio computer self-administered (ACASI))
Cross-sectional and panel surveys
- Panel surveys interview respondents over time (content usually the same, but may differ).
Grotere groep, meerdere keren gevraagd over de tijd heen. Om causale verbanden te krijgen,
ontwikkeling beschrijven.
- Advantages: we can assess within-person change & causality. We can disentangle age, ….
- Potential errors:
Attrition (drop-out, consecutive wave-nonresponse)
Panel conditioning (AKA learning effects) als mensen ergens bekend mee raken gaan ze
sneller/minder serieus antwoorden omdat ze al iets verwacchten.
Prepare data
Operational process: construct (PTSD) > conceptual definition > operational definition (PTSD
questionnaire) > variable (how?)
Creating a variable
Goal: create 1 score that indicates severity of PTSD
Option 1:
- Sum of item scores
Option 2:
- Average all item scores
- Can still be calculated with a few missing values
(Option 3:
- Gewogen gemiddelde)
Reversely phrased items should be reversely coded (recoding).
Calculating the scale score.
- With the reversely coded items a scale score can now be calculated
- PTSD scale score = mean across all items reverse……..
HC 2 – Correlationeel: Betrouwbaarheid & Introductie op
regressie
Hoe beoordeel je of iets een goed meetinstrument is? Betrouwbaarheid en validiteit.
,Betrouwbaarheid gaat over herhaalbaarheid. Als je het nog een keer doet, komt er dan ongeveer
hetzelfde uit? Het zou dezelfde resultaten moeten opleveren. (precision) consistentie vd meting
Validiteit: meet het wat je wil meten? (accuracy) correctheid vd meting.
- Gezichtsvaliditeit: vind ik dit redelijk? Komt dit overeen met hoe ik denk dat het zou moeten?
- Inhoudsvaliditeit: meet het alle aspecten die ik wil meten?
- Convergente validiteit: komt het overeen met een andere meting die hetzelfde beoogt te
meten? (2 dingen die hetzelfde meten moeten dezelfde uitkomst hebben)
- Divergente validiteit: meet het NIET hetzelfde als iets anders? (meetinstrumenten die iets
anders meten moeten niet dezelfde uitkomst hebben)
- Criteriumvaliditeit: voorspelt het een uitkomst?
We meten de kracht van een relatie met een correlatie. Weergeeft een mate van kracht (hoger getal
is sterkere relatie) en richting (+/-) van een lineaire relatie tussen 2 interval/ratio variabelen. Wordt
weergeven als r met een waarde tussen -1 en +1.
Betrouwbaarheid:
- Test-hertest betrouwbaarheid: is er ongeveer dezelfde uitkomst op moment 1 en 2 (als er
tussendoor niet teveel veranderingen zijn geweest)?
- Interbeoordelaarsbetrouwbaarheid: krijgen meerdere beoordelaars dezelfde uitkomsten?
- Interne betrouwbaarheid: hangen de dingen in een meetinstrument met elkaar samen?
Cronbach’s Alpha meet interne consistentie (tot welke mate correleren de items binnen een
survey?). Om betrouwbaarheidsanalyses te gebruiken, moeten alle items gecodeerd worden in
dezelfde richting.
o Alpha <0,7 zwak
o Alpha >0,8 goed
Maar hang af van het doel waarom je het doet.
Schaal verbeteren:
Check correlaties tussen individuele items en de schaal zonder dat item (item-reset correlation of
item-total correlation). Vuistregel: rit < +- 0.2 item mag verwijderd worden?
Check ook wat gebeurt met Cronbach’s Alpha als de schaal zonder dat item was (Cronbach’s Alpha if
item deleted). Vuistregel: α stijgt het meest item mag verwijderd worden
NHST stappen:
1. Formuleer H0 en HA
2. Verzamel data
3. Bereken de p-waarde
4. Bepaal of H0 wel of niet verworpen moet worden
Correlatie geeft informatie over kracht en richting van de relatie.
Regressie beschrijft een vergelijking van een lineaire relatie, en maakt voorspellingen waarbij de
vergelijking gebruikt wordt.
Variabele die wordt voorspeld:
- Genoteerd als y
- Afhankelijke variabele
Variabele die voorspelt:
- Genoteerd als x
- Afhankelijke variabele
Least Squares Regression
Regressielijn: lijn door alle punten heen ofzo
, Residuen: afstanden van de puntjes tot de regressielijn.
Kleine spreiding: accurate voorspelling, goede inschatting maken. hoe kleiner de spreiding, hoe
accurater de voorspellingen, hoe beter de regressielijn.
Standard error of the estimate: hoe accuraat is de voorspelling? (standaard schattingsfout)
- Standaardafwijking van de residue
Regression equation
- Wordt bepaald door wiskundig de kleinste som van squared residuals te bepalen
- Kan worden gebruikt om voorspellingen te maken
- Wordt geschreven als
HC 3 – Correlationeel: Regressie
SLR (simple linear regression)
MLR (multiple linear regression)
Root mean square error = standaard error in jasp
Unstandardized = voorspellingsvergelijking (zelfde als in spss)
2 testen om te kijken naar significant effect:
- Test for the slope
H0:B1=0
HA:B1≠0
Dmv t-test
- Test for explained variance
F-test (ANOVA in jasp??)
Determines if the proportion of explained variance is significantly larger than 0
Sum of squares (foto)
Gestandaardiseerde regressiecoëfficiënt: Meet toename of afname van Y in SD’s als X toeneemt met
1 SD
Als ptsd score toeneemt
met 1 SD, neemt productiviteitsscore af met 0.533 SD.
Assumpties
Validiteit: Past de data wel bij de onderzoeksvraag?
1. Er is een lineaire relatie tussen onafhankelijke en afhankelijke variabele
2. Onafhankelijke en afhankelijke variabele moeten van interval/ratio niveau zijn
3. Residuen zijn normaal verdeeld (je wil evenveel onderschatten als overschatten) (kun je
checken met histogram van de residuen)
