HC: Correlationeel onderzoek
Gegevens worden op verschillende manieren gegenereerd: incidenteel/organisch (kant-en-klaar)
versus doelbewust (op maat gemaakt) ontworpen.
o Doelbewust ontworpen: experiment, survey, administratief (bv. belastingdienst).
o Incidenteel/organisch: aspirationeel (bv. Facebook), transactioneel (bv. Jumbo kaart).
Wij ontwerpen een studie en verzamelen gegevens om de sociale realiteit te beschrijven, (causale)
verbanden te bestuderen en te generaliseren naar de doelpopulatie (inferentie). Inferentiedoelen:
- Beschrijving
- Oorzakelijkheid
- Voorspelling
Survey manieren:
- Face-to-face
- Mail
- Telefoon
- Internet
- Mixed-modes
Verschillen tussen de manieren:
- Mate van betrokkenheid van de interviewer
- Mate van interactie met de respondent
- Mate van privacy
- Communicatiekanalen (visueel, auditief)
- Technologiegebruik (high-tech versus low-tech)
Face-to-face Mail Telefoon Internet
Prijs Hoog Laag Matig Laag
Responspercentag Hoog Laag Hoog Matig
e respondenten
Controle van de Hoog Laag Matig Matig
onderzoeker over
de interviews
Interviewer Hoog Laag Matig Laag
effecten
Survey manieren in Nederland:
- Bevolkingsregister en meer dan 90% internetgebruik
o Telefonische surveys (nummers met willekeurige cijfers) worden niet op grote schaal
gebruikt
- Methoden mix
o Post met uitnodigingen voor internet surveys
o Telefooncomponent indien nummers bekend zijn
- Marktonderzoekers gebruiken zowel kansberekening als niet-kansberekening online panels
- Mixed-device surveys (computer/mobiele telefoon)
Soorten mixed-mode ontwerpen:
- Eén modus voor sommige respondenten, een andere methode voor anderen. Bv. een online
survey met een postcomponent voor degenen zonder internet.
- Eén modus voor de werving, een andere voor de administratie van de survey. Bv. uitnodiging
per post voor een online survey.
- Eén modus voor gegevensverzameling, een andere voor herinneringen (follow-up). Bv.
telefonische herinneringen voor een online survey.
- Eén modus voor het belangrijkste deel van het interview, een andere voor een deelverzameling
van antwoorden. Bv. gevoelige items, zelfafhandeling per telefoon en audiocomputer (ACASI).
Cross-sectionele surveys zijn gebaseerd op een steekproef van de betrokken populatie die op één
tijdstip wordt getrokken. Panel surveys daarentegen volgen de betrokken populatie over een langere
1
,periode en zijn gericht op het meten van veranderingen in de tijd voor de analyse-eenheden binnen de
populatie (de inhoud is meestal hetzelfde, maar kan verschillen).
Voordelen van panel surveys:
- Toegang tot veranderingen binnen de persoon en causaliteit
- Kunnen leeftijds-, periode- en cohorte-effecten ontwarren
Nadelen van panel surveys:
- Uitval (drop-out of opeenvolgende golf-nonrespons)
- Panelconditionering (leereffecten)
Survey cyclus:
Meting Representatie
Construct Doelgroep
Coverage error
(dekkingsfout)
Meting Steekproefkader
Measurement
error Sampling error
(steekproeffout)
Respons Steekproef
Processing Non-response
error error
Bewerkt Respondenten
respons
Adjustment
error
Postsurvey
aanpassingen
Survey statistiek
Er is sprake van een dekkingsfout als niet alle leden van de populatie een bekende, niet-nulkans
hebben om in de steekproef te worden opgenomen, en als de personen die in het steekproefkader zijn
opgenomen, verschillen van de personen die wel in de steekproef zijn opgenomen. Er is sprake van
undercoverage wanneer leden van de doelpopulatie worden uitgesloten. Overcoverage doet zich voor
wanneer eenheden ten onrechte worden opgenomen.
Er is sprake van een steekproeffout als slechts enkele, in plaats van alle, leden van de betrokken
populatie worden ondervraagd.
- Onzekerheid
- We hebben statistieken nodig om deze onzekerheid te kwantificeren
Er treedt een non-responsfout op wanneer voor een survey geselecteerde personen die niet
antwoorden, voor relevante variabelen verschillen van degenen die wel antwoorden.
- Unit-nonrespons: wanneer voor de steekproef geselecteerde personen weigeren volledig aan
het survey verzoek mee te werken
- Item-nonrespons: wanneer personen die voor de steekproef zijn geselecteerd, weigeren een
bepaalde vraag te beantwoorden
Redenen voor nonrespons:
- Technische moeilijkheden
- Gebrek aan motivatie/interesse
- Gebrek aan vertrouwen in gevoelige vragen
Gevaar nonrespons: non-response bias = systematische verschillen tussen respondenten en non-
respondenten over belangrijke onderzoeksvariabelen.
2
,Aanpassingsfout treedt op als gevolg van dekking en nonrespons. Statistieken op basis van
respondenten kunnen afwijken van die van de doelpopulatie. bv. ondervertegenwoordiging van
bepaalde groepen (stedelijke respons is lager dan plattelandsrespons).
Nieuwe huishoudens/nieuwe werkgevers in het kader. Aanpassing: weging van de
ondervertegenwoordigden.
o Voorbeeld: item-nonrespons, aanpassing: imputatie = het proces waarbij ontbrekende
gegevens worden vervangen door vervangende waarden
Meetfouten treden op als respondenten onnauwkeurige antwoorden geven als gevolg van effecten op
de survey modus, slechte vraagformulering of aspecten van hun gedrag.
Betrouwbare meting: de meting varieert niet als gevolg van kenmerken van de manier waarop er is
gemeten of van het meetinstrument (precisie, consistentie).
- Test-hertest: mate van consistentie in de tijd
- Interrater: mate van overeenstemming tussen verschillende beoordelaars
- Intern: consistentie van verschillende resultaten van verschillende items in een test
Validiteit van de meting: hoe goed de meting overeenkomt met het betrokken begrip
(juistheid/correctheid).
- Indruk: komt de meting goed over?
- Inhoud: meet de meting alle aspecten van het construct?
- Convergent: correleert de meting met een andere meting van hetzelfde construct?
- Divergent: correleert het niet met iets dat iets anders meet?
- Criterium: voorspelt het een uitkomst?
Survey metingen zijn niet betrouwbaar (berusten op recall en schattingen), en problemen met
constructvaliditeit. Verschillen tussen mensen?
Observaties in een laboratorium nadelen:
- Mensen gedragen zich anders dan normaal (Hawthorne-effect/reactiviteit)
- Slechts een momentopname (moeilijk om mensen 24 uur te laten blijven)
- Problemen met de externe validiteit
Foto's (bv. zeven weken boodschappen) nadelen: lage construct validiteit; lage betrouwbaarheid; geeft
je wel veel context.
Voedseldagboek (op papier) nadelen:
- Nonrespons (doen mensen het echt?)
- Recall (herinneren mensen zich precies wat en hoeveel ze hebben gegeten?)
- Lage betrouwbaarheid
- Underreporting (probleem bij recall)
- Lage validiteit
Dagboek (mobiele telefoon) nadelen: nonrespons en dekkingsfout.
Een groot deel van de sociale wetenschappen is gewijd aan het verbeteren van wat en hoe we meten.
Problemen met metingen:
- Externe validiteit: dekking; nonrespons; reactiviteit (Hawthorne-effect)
- Construct validiteit
- Recall: underreporting en schatting (betrouwbaarheid)
o Schatting van ingrediënten/hoeveelheden
o Schatting respondent (dagboek) of schatting onderzoeker (foto's)?
Wat het beste werkt hangt af van de populatie en middelen. Smartphone-apps kunnen werken voor
jongeren, maar zullen waarschijnlijk niet werken voor ouderen.
Vereisten? App bouwen door een specialist en coderen door onderzoeker.
- Feiten: secundaire gegevens, vraag specialist
3
, - Gedrag: observeer/vraag het de persoon
- Meningen: vraag het de persoon
We stellen mensen vaak vragen: survey. Het is moeilijk om foutloze (valide en betrouwbare) metingen
te verkrijgen in surveys, vanwege dit antwoordproces:
Comprehension Retrieval Judgement Response
(begrip) (ophalen) (oordelen) (antwoord)
1. Begrip - Begrijpen van de vraag
2. Ophalen - Weet je nog? Ophalen informatie
3. Oordelen - Kun je nauwkeurig schatten? Gedachten, ideeën, meningen, ervaringen en
herinneringen in het hoofd van de respondent
4. Antwoord - Ben je bereid te antwoorden? Deze gedachten, ideeën, meningen, ervaringen en
herinneringen worden geverbaliseerd tot antwoorden
Herinneringsproblemen leiden tot onder- of overschatting. Beiden zijn een vorm van vertekening.
Bias (question bias) kan ook ontstaan door vraagformulering, leidende vragen, dubbelzinnige vragen,
volgorde-effecten, telescopische effecten en gevoelige vragen.
Order effecten beïnvloeden het ophalen, het oordeel en de respons. Sociale wenselijkheid leidt tot
validiteitspriming.
Response bias: we gaan ervan uit dat respondenten ijverig de stappen doorlopen (optimizing), maar ze
kunnen shortcuts nemen (satisficing) = sociale wenselijkheid; acquiescence (iets accepteren zonder
protest); primacy/recency effecten; fence sitting (middelste keuze) of straightlining/nondifferentiatie.
Een variabele creëren
- Optie 1: som van itemscores
Waarom hebben somscores niet de voorkeur? Antwoord missers?
- Optie 2: gemiddelde van alle itemscores - kan nog steeds worden berekend met een paar
ontbrekende waarden
- (Optie 3: gewogen gemiddelde van itemscores)
Let op! In veel surveys komen we omgekeerd geformuleerde items tegen. Deze omgekeerd
geformuleerde items moeten omgekeerd worden gecodeerd (hercodering), waarna een schaalscore kan
worden berekend.
Betrouwbaarheid:
- Chronbach’s alpha meet de interne consistentie
In welke mate correleren de items in een survey? (Ingewikkelde berekeningen met de computer)
Opmerking: om betrouwbaarheidsanalyses te gebruiken, moeten alle items in dezelfde richting worden
gecodeerd.
In het algemeen is de Chronbach’s alpha lager dan 0.7 = slecht en een alpha hoger dan 0.8 goed,
maar dit is afhankelijk van het gebruik van de survey.
Betrouwbaarheidsanalyse/verbetering van de schaal:
- Controleer de correlaties tussen individuele items en de schaal zonder het item
o "Item rest correlatie" of "item-totaal correlatie"
o Vuistregel: r(it) < ±0.2, item mag verwijderd worden
- Controleer bovendien wat er gebeurt met Chronbach’s alpha als de schaal zou worden gemaakt
zonder dat specifieke item
o Chronbach’s alpha als item verwijderd wordt. Vuistregel: alpha neemt het meest
toe, item mag verwijderd worden
4
Gegevens worden op verschillende manieren gegenereerd: incidenteel/organisch (kant-en-klaar)
versus doelbewust (op maat gemaakt) ontworpen.
o Doelbewust ontworpen: experiment, survey, administratief (bv. belastingdienst).
o Incidenteel/organisch: aspirationeel (bv. Facebook), transactioneel (bv. Jumbo kaart).
Wij ontwerpen een studie en verzamelen gegevens om de sociale realiteit te beschrijven, (causale)
verbanden te bestuderen en te generaliseren naar de doelpopulatie (inferentie). Inferentiedoelen:
- Beschrijving
- Oorzakelijkheid
- Voorspelling
Survey manieren:
- Face-to-face
- Telefoon
- Internet
- Mixed-modes
Verschillen tussen de manieren:
- Mate van betrokkenheid van de interviewer
- Mate van interactie met de respondent
- Mate van privacy
- Communicatiekanalen (visueel, auditief)
- Technologiegebruik (high-tech versus low-tech)
Face-to-face Mail Telefoon Internet
Prijs Hoog Laag Matig Laag
Responspercentag Hoog Laag Hoog Matig
e respondenten
Controle van de Hoog Laag Matig Matig
onderzoeker over
de interviews
Interviewer Hoog Laag Matig Laag
effecten
Survey manieren in Nederland:
- Bevolkingsregister en meer dan 90% internetgebruik
o Telefonische surveys (nummers met willekeurige cijfers) worden niet op grote schaal
gebruikt
- Methoden mix
o Post met uitnodigingen voor internet surveys
o Telefooncomponent indien nummers bekend zijn
- Marktonderzoekers gebruiken zowel kansberekening als niet-kansberekening online panels
- Mixed-device surveys (computer/mobiele telefoon)
Soorten mixed-mode ontwerpen:
- Eén modus voor sommige respondenten, een andere methode voor anderen. Bv. een online
survey met een postcomponent voor degenen zonder internet.
- Eén modus voor de werving, een andere voor de administratie van de survey. Bv. uitnodiging
per post voor een online survey.
- Eén modus voor gegevensverzameling, een andere voor herinneringen (follow-up). Bv.
telefonische herinneringen voor een online survey.
- Eén modus voor het belangrijkste deel van het interview, een andere voor een deelverzameling
van antwoorden. Bv. gevoelige items, zelfafhandeling per telefoon en audiocomputer (ACASI).
Cross-sectionele surveys zijn gebaseerd op een steekproef van de betrokken populatie die op één
tijdstip wordt getrokken. Panel surveys daarentegen volgen de betrokken populatie over een langere
1
,periode en zijn gericht op het meten van veranderingen in de tijd voor de analyse-eenheden binnen de
populatie (de inhoud is meestal hetzelfde, maar kan verschillen).
Voordelen van panel surveys:
- Toegang tot veranderingen binnen de persoon en causaliteit
- Kunnen leeftijds-, periode- en cohorte-effecten ontwarren
Nadelen van panel surveys:
- Uitval (drop-out of opeenvolgende golf-nonrespons)
- Panelconditionering (leereffecten)
Survey cyclus:
Meting Representatie
Construct Doelgroep
Coverage error
(dekkingsfout)
Meting Steekproefkader
Measurement
error Sampling error
(steekproeffout)
Respons Steekproef
Processing Non-response
error error
Bewerkt Respondenten
respons
Adjustment
error
Postsurvey
aanpassingen
Survey statistiek
Er is sprake van een dekkingsfout als niet alle leden van de populatie een bekende, niet-nulkans
hebben om in de steekproef te worden opgenomen, en als de personen die in het steekproefkader zijn
opgenomen, verschillen van de personen die wel in de steekproef zijn opgenomen. Er is sprake van
undercoverage wanneer leden van de doelpopulatie worden uitgesloten. Overcoverage doet zich voor
wanneer eenheden ten onrechte worden opgenomen.
Er is sprake van een steekproeffout als slechts enkele, in plaats van alle, leden van de betrokken
populatie worden ondervraagd.
- Onzekerheid
- We hebben statistieken nodig om deze onzekerheid te kwantificeren
Er treedt een non-responsfout op wanneer voor een survey geselecteerde personen die niet
antwoorden, voor relevante variabelen verschillen van degenen die wel antwoorden.
- Unit-nonrespons: wanneer voor de steekproef geselecteerde personen weigeren volledig aan
het survey verzoek mee te werken
- Item-nonrespons: wanneer personen die voor de steekproef zijn geselecteerd, weigeren een
bepaalde vraag te beantwoorden
Redenen voor nonrespons:
- Technische moeilijkheden
- Gebrek aan motivatie/interesse
- Gebrek aan vertrouwen in gevoelige vragen
Gevaar nonrespons: non-response bias = systematische verschillen tussen respondenten en non-
respondenten over belangrijke onderzoeksvariabelen.
2
,Aanpassingsfout treedt op als gevolg van dekking en nonrespons. Statistieken op basis van
respondenten kunnen afwijken van die van de doelpopulatie. bv. ondervertegenwoordiging van
bepaalde groepen (stedelijke respons is lager dan plattelandsrespons).
Nieuwe huishoudens/nieuwe werkgevers in het kader. Aanpassing: weging van de
ondervertegenwoordigden.
o Voorbeeld: item-nonrespons, aanpassing: imputatie = het proces waarbij ontbrekende
gegevens worden vervangen door vervangende waarden
Meetfouten treden op als respondenten onnauwkeurige antwoorden geven als gevolg van effecten op
de survey modus, slechte vraagformulering of aspecten van hun gedrag.
Betrouwbare meting: de meting varieert niet als gevolg van kenmerken van de manier waarop er is
gemeten of van het meetinstrument (precisie, consistentie).
- Test-hertest: mate van consistentie in de tijd
- Interrater: mate van overeenstemming tussen verschillende beoordelaars
- Intern: consistentie van verschillende resultaten van verschillende items in een test
Validiteit van de meting: hoe goed de meting overeenkomt met het betrokken begrip
(juistheid/correctheid).
- Indruk: komt de meting goed over?
- Inhoud: meet de meting alle aspecten van het construct?
- Convergent: correleert de meting met een andere meting van hetzelfde construct?
- Divergent: correleert het niet met iets dat iets anders meet?
- Criterium: voorspelt het een uitkomst?
Survey metingen zijn niet betrouwbaar (berusten op recall en schattingen), en problemen met
constructvaliditeit. Verschillen tussen mensen?
Observaties in een laboratorium nadelen:
- Mensen gedragen zich anders dan normaal (Hawthorne-effect/reactiviteit)
- Slechts een momentopname (moeilijk om mensen 24 uur te laten blijven)
- Problemen met de externe validiteit
Foto's (bv. zeven weken boodschappen) nadelen: lage construct validiteit; lage betrouwbaarheid; geeft
je wel veel context.
Voedseldagboek (op papier) nadelen:
- Nonrespons (doen mensen het echt?)
- Recall (herinneren mensen zich precies wat en hoeveel ze hebben gegeten?)
- Lage betrouwbaarheid
- Underreporting (probleem bij recall)
- Lage validiteit
Dagboek (mobiele telefoon) nadelen: nonrespons en dekkingsfout.
Een groot deel van de sociale wetenschappen is gewijd aan het verbeteren van wat en hoe we meten.
Problemen met metingen:
- Externe validiteit: dekking; nonrespons; reactiviteit (Hawthorne-effect)
- Construct validiteit
- Recall: underreporting en schatting (betrouwbaarheid)
o Schatting van ingrediënten/hoeveelheden
o Schatting respondent (dagboek) of schatting onderzoeker (foto's)?
Wat het beste werkt hangt af van de populatie en middelen. Smartphone-apps kunnen werken voor
jongeren, maar zullen waarschijnlijk niet werken voor ouderen.
Vereisten? App bouwen door een specialist en coderen door onderzoeker.
- Feiten: secundaire gegevens, vraag specialist
3
, - Gedrag: observeer/vraag het de persoon
- Meningen: vraag het de persoon
We stellen mensen vaak vragen: survey. Het is moeilijk om foutloze (valide en betrouwbare) metingen
te verkrijgen in surveys, vanwege dit antwoordproces:
Comprehension Retrieval Judgement Response
(begrip) (ophalen) (oordelen) (antwoord)
1. Begrip - Begrijpen van de vraag
2. Ophalen - Weet je nog? Ophalen informatie
3. Oordelen - Kun je nauwkeurig schatten? Gedachten, ideeën, meningen, ervaringen en
herinneringen in het hoofd van de respondent
4. Antwoord - Ben je bereid te antwoorden? Deze gedachten, ideeën, meningen, ervaringen en
herinneringen worden geverbaliseerd tot antwoorden
Herinneringsproblemen leiden tot onder- of overschatting. Beiden zijn een vorm van vertekening.
Bias (question bias) kan ook ontstaan door vraagformulering, leidende vragen, dubbelzinnige vragen,
volgorde-effecten, telescopische effecten en gevoelige vragen.
Order effecten beïnvloeden het ophalen, het oordeel en de respons. Sociale wenselijkheid leidt tot
validiteitspriming.
Response bias: we gaan ervan uit dat respondenten ijverig de stappen doorlopen (optimizing), maar ze
kunnen shortcuts nemen (satisficing) = sociale wenselijkheid; acquiescence (iets accepteren zonder
protest); primacy/recency effecten; fence sitting (middelste keuze) of straightlining/nondifferentiatie.
Een variabele creëren
- Optie 1: som van itemscores
Waarom hebben somscores niet de voorkeur? Antwoord missers?
- Optie 2: gemiddelde van alle itemscores - kan nog steeds worden berekend met een paar
ontbrekende waarden
- (Optie 3: gewogen gemiddelde van itemscores)
Let op! In veel surveys komen we omgekeerd geformuleerde items tegen. Deze omgekeerd
geformuleerde items moeten omgekeerd worden gecodeerd (hercodering), waarna een schaalscore kan
worden berekend.
Betrouwbaarheid:
- Chronbach’s alpha meet de interne consistentie
In welke mate correleren de items in een survey? (Ingewikkelde berekeningen met de computer)
Opmerking: om betrouwbaarheidsanalyses te gebruiken, moeten alle items in dezelfde richting worden
gecodeerd.
In het algemeen is de Chronbach’s alpha lager dan 0.7 = slecht en een alpha hoger dan 0.8 goed,
maar dit is afhankelijk van het gebruik van de survey.
Betrouwbaarheidsanalyse/verbetering van de schaal:
- Controleer de correlaties tussen individuele items en de schaal zonder het item
o "Item rest correlatie" of "item-totaal correlatie"
o Vuistregel: r(it) < ±0.2, item mag verwijderd worden
- Controleer bovendien wat er gebeurt met Chronbach’s alpha als de schaal zou worden gemaakt
zonder dat specifieke item
o Chronbach’s alpha als item verwijderd wordt. Vuistregel: alpha neemt het meest
toe, item mag verwijderd worden
4
