TOE
CORRELATIONEEL ONDERZOEK
Customer satisfaction; tevredenheid over ervaring van klanten bevragen
Political polls; polls over de politiek (bv stemmen)
Governmental statistics; statistieken over bevindingen in een land/ over een volk (CBS)
2 manieren van data generen;
- Indicentally (organic); de data was in eerste instantie niet bedoeld voor het onderzoek, maar
voor een ander doel
Aspirational; bv iets op sociale media doen (user created content; bedoeld voor een
ander doel)
Transactional; transacties bv via betaalpas of
bonuskaart etc.
- Purposively (designed); gericht data gaan zoeken
Experiment
Survey
Administrative
Correlational data; designed
We ontwerpen een studie & verzamelen data om;
- De sociale realiteit te beschrijven
- (Causale) relaties te onderzoeken
- Te generaliseren naar de populatie
Inferential goals; description (beschrijven), causation (causale relatie; Inferential cirkel;
oorzaak-gevolg) & prediction (voorspellen)
Survey modes; face-to-face, mail, telephone, internet & mixed-mode
Cross-section surveys; eenmalig interview
Panel surveys; respondenten verschillende keren over tijd interviewen (meestal is de content (de
vragen) hetzelfde, maar het kan verschillen)
Voordelen panel surveys;
- Je krijgt toegang tot persoonlijke veranderingen & causaliteit (bv antwoorden op vragen voor
een bepaalde gebeurtenis en na een bepaalde gebeurtenis)
- Je kunt variabelen zoals leeftijd, een bepaalde periode en cohorte (invloed van in welk jaar je
geboren bent en de omstandigheden op dat moment) effecten uit elkaar halen
Mogelijke errors van panel surveys;
, - Attrition (uitval)
- Panel conditioning
- Coverage error (dekkingsfout)
- Sampling error (steekproeffout)
- Non-response error
- Non-response bias
- Adjustment error
- Measurement error
- Processing error
Attrition (uitval); opeenvolgende non-response of drop-out van participanten
Panel conditioning; bepaalde antwoorden verdraaien doordat je weet dat je anders veel vragen over
dat onderwerp zult krijgen; om dit te vermijden geven mensen bewust verkeerde antwoorden
Coverage error (dekkingsfout); niet iedereen die je wilt onderzoeken (uit de populatie) wordt gedekt
met de manier van benadering; wanneer niet iedereen uit de populatie een (even) grote kans krijgen
om in de steekproef te zitten & wanneer mensen uit de steekproef verschillen van mensen in de
steekproef (beide wel in populatie)
(bv via internet een vragenlijst sturen maar veel mensen gebruiken het internet niet)
Sampling error (steekproeffout); wanneer niet de hele populatie wordt onderzocht, maar slechts
een klein deel ervan (de steekproef); zorgt voor onzekerheid
Oplossing sampling error; bepaalde vragen kunnen eruit worden gescreend
Non-response error; wanneer mensen weigeren deel te nemen aan het
onderzoek (unit-non response) of weigeren een bepaalde vraag te
beantwoorden (item-non response)
Non-response bias; systematische verschillen tussen respondenten en niet-
respondenten op de belangrijkste onderzoek variabelen
Adjustment error; door de dekking- en non response error kunnen statistieken gebaseerd op
respondenten verschillen van statistieken van de (doel) populatie; de methode voor de data die is
gebruikt, zorgt voor verschillende/ verkeerde resultaten
Oplossen adjustment error; “weighting” up the underrepresented
Measurement error; vragen verkeerd beantwoorden om geen verkeerde indruk achter te laten;
vragen beantwoorden op een sociaal wenselijke manier (bv bij gevoelige vragen)
, Redenen van measurement error;
- Onderzoek modeeffecten
- Slechte vraagstelling
- Aspecten van hun gedrag
Processing error; antwoorden verkeerd rapporteren na het antwoord van de respondent (vooral bij
interviews)
Sampling;
Meetbaar maken constructen;
Construct conceptuele definitie (definitie) operationele definitie (meetbaar maken) variabele
Betrouwbaarheid (reliability); wanneer je meerdere metingen doet, zijn de resultaten dan
hetzelfde?
Test-hertest betrouwbaarheid (test-retest): geeft het meetinstrument consequente scores
wanneer onderzoekers het meerdere keren gebruiken? Niet handig bij theoretische
begrippen die fluctueren met de tijd. De test worst als goed beoordeeld wanneer r > 0.50
Interbeoordelaarsbetrouwbaarheid (interrater): geeft het meetinstrument consequente
scores wanneer verschillende onderzoekers het gebruiken? Wordt vooral gebruikt bij
observaties. Het wordt als goed beoordeeld wanneer r > 0.70
Interne betrouwbaarheid (internal): geven respondenten soortgelijke antwoorden op
verschillende vragen over hetzelfde theoretische begrip? Vooral gebruikt bij surveys &
gemeten met Chronebach’s Alfa; meet de interne consistentie; de samenhang van vragen
binnen een survey. Chronebach’s Alfa in de sociale wetenschappen is goed wanneer 0.7
< 0.7 slecht
> 0.8 goed
Betrouwbaarheid meten;
1. Vragen in dezelfde richting coderen; hercoderen
2. Gemiddelde score of de som van de score berekenen
3. Correlaties; “Corrected item- total correlation” checken
4. Alleen wanneer < +/- 0.2 item verwijderen
5. Chronebach’s Alpha checken
6. Eventueel items weghalen voor een hogere Chronebach’s Alpha < 0.7
, Validiteit; wordt er gemeten wat je wilt meten?
- Externe validiteit: de mate waarin onderzoeksresultaten gelden voor een grotere groep dan
alleen de onderzochte groep; je kunt conclusies trekken die verder gaan dan alleen de
onderzochte groep. Dit hangt af van; de dataverzamelingsmethode & de manier waarop de
steekproef getrokken wordt
- Interne validiteit: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten; de mate waarin je met zekerheid kunt stellen dat een vastgestelde oorzaak-
gevolgrelatie (causaal verband) niet door andere factoren kan worden verklaard.
- Statistische validiteit: verschillende manieren om een resultaat op z’n waarde te kunnen
beoordelen; hoe kunnen we de waarde van een resultaat beoordelen;
Begripsvaliditeit (construct validity): de validiteit van het meetinstrument dat is gebruikt om een
bepaald theoretisch begrip te meten; hoe weet een onderzoeker of er gemeten is wat er voor ogen
was?
Subjectief beoordelen (voor dataverzameling);
Indruksvaliditeit (face validity): hoe beoordelen de experts dit meetinstrument?
Experts gaan ernaar kijken
Inhoudsvaliditeit (content validity): meet het meetinstrument wel alle aspecten van
het theoretische begrip?
Empirisch beoordelen (na dataverzameling);
Convergente validiteit; komen de metingen van dit meetinstrument en metingen
van een ander meetinstrument (dat hetzelfde of soortgelijk begrip meet) overeen?
Divergente validiteit (discriminant validity): hangen de metingen van dit
meetinstrument juist niet samen met andere kenmerken?
Criterium validiteit; voorspelt het een uitkomst; hangen de metingen van de
meetinstrumenten samen met een andere uitkomstvariabele waarvan we weten dat
er een verband hoort te zijn?
Correlatie; een meting van sterkte en richting van een lineaire relatie tussen twee interval/ ratio
variabelen tussen -1 & +1 in de statistiek r
- Significantie van correlatie checken; “sig (2-tailed)” = p-waarde minimaal 0.5
Correlatie wordt gebruikt voor het meten van strekte en richting van een lineaire relatie
Significantie (p-waarde); “If p is low, H0 must go”
- Kleine p-waarde H0 verwerpen er is een relatie
- Grote p-waarde H0 niet verwerpen er is geen relatie
Vraag-antwoord model (Tourangeau)/ the response process; het process van een respondent tijden
het reageren op een vraag;
Comprehension; de vraag begrijpen
Retrieval; de informatie ophalen uit het geheugen
Judgement; gedachten, ideeën, meningen, ervaringen, herinneringen, informatie in het hoofd van de
respondent bij elkaar halen en een antwoord vormen o.b.v. de informatie; wil/ ga ik dit delen met de
interviewer, is dit wat de interviewer wilt horen van mij?
Response; verbaal antwoord geven
als interviewer faciliteer je dit volledige proces door vragen te stellen (inhoud) en te motiveren
(relatie/ rapport)
Verschillende reacties;
CORRELATIONEEL ONDERZOEK
Customer satisfaction; tevredenheid over ervaring van klanten bevragen
Political polls; polls over de politiek (bv stemmen)
Governmental statistics; statistieken over bevindingen in een land/ over een volk (CBS)
2 manieren van data generen;
- Indicentally (organic); de data was in eerste instantie niet bedoeld voor het onderzoek, maar
voor een ander doel
Aspirational; bv iets op sociale media doen (user created content; bedoeld voor een
ander doel)
Transactional; transacties bv via betaalpas of
bonuskaart etc.
- Purposively (designed); gericht data gaan zoeken
Experiment
Survey
Administrative
Correlational data; designed
We ontwerpen een studie & verzamelen data om;
- De sociale realiteit te beschrijven
- (Causale) relaties te onderzoeken
- Te generaliseren naar de populatie
Inferential goals; description (beschrijven), causation (causale relatie; Inferential cirkel;
oorzaak-gevolg) & prediction (voorspellen)
Survey modes; face-to-face, mail, telephone, internet & mixed-mode
Cross-section surveys; eenmalig interview
Panel surveys; respondenten verschillende keren over tijd interviewen (meestal is de content (de
vragen) hetzelfde, maar het kan verschillen)
Voordelen panel surveys;
- Je krijgt toegang tot persoonlijke veranderingen & causaliteit (bv antwoorden op vragen voor
een bepaalde gebeurtenis en na een bepaalde gebeurtenis)
- Je kunt variabelen zoals leeftijd, een bepaalde periode en cohorte (invloed van in welk jaar je
geboren bent en de omstandigheden op dat moment) effecten uit elkaar halen
Mogelijke errors van panel surveys;
, - Attrition (uitval)
- Panel conditioning
- Coverage error (dekkingsfout)
- Sampling error (steekproeffout)
- Non-response error
- Non-response bias
- Adjustment error
- Measurement error
- Processing error
Attrition (uitval); opeenvolgende non-response of drop-out van participanten
Panel conditioning; bepaalde antwoorden verdraaien doordat je weet dat je anders veel vragen over
dat onderwerp zult krijgen; om dit te vermijden geven mensen bewust verkeerde antwoorden
Coverage error (dekkingsfout); niet iedereen die je wilt onderzoeken (uit de populatie) wordt gedekt
met de manier van benadering; wanneer niet iedereen uit de populatie een (even) grote kans krijgen
om in de steekproef te zitten & wanneer mensen uit de steekproef verschillen van mensen in de
steekproef (beide wel in populatie)
(bv via internet een vragenlijst sturen maar veel mensen gebruiken het internet niet)
Sampling error (steekproeffout); wanneer niet de hele populatie wordt onderzocht, maar slechts
een klein deel ervan (de steekproef); zorgt voor onzekerheid
Oplossing sampling error; bepaalde vragen kunnen eruit worden gescreend
Non-response error; wanneer mensen weigeren deel te nemen aan het
onderzoek (unit-non response) of weigeren een bepaalde vraag te
beantwoorden (item-non response)
Non-response bias; systematische verschillen tussen respondenten en niet-
respondenten op de belangrijkste onderzoek variabelen
Adjustment error; door de dekking- en non response error kunnen statistieken gebaseerd op
respondenten verschillen van statistieken van de (doel) populatie; de methode voor de data die is
gebruikt, zorgt voor verschillende/ verkeerde resultaten
Oplossen adjustment error; “weighting” up the underrepresented
Measurement error; vragen verkeerd beantwoorden om geen verkeerde indruk achter te laten;
vragen beantwoorden op een sociaal wenselijke manier (bv bij gevoelige vragen)
, Redenen van measurement error;
- Onderzoek modeeffecten
- Slechte vraagstelling
- Aspecten van hun gedrag
Processing error; antwoorden verkeerd rapporteren na het antwoord van de respondent (vooral bij
interviews)
Sampling;
Meetbaar maken constructen;
Construct conceptuele definitie (definitie) operationele definitie (meetbaar maken) variabele
Betrouwbaarheid (reliability); wanneer je meerdere metingen doet, zijn de resultaten dan
hetzelfde?
Test-hertest betrouwbaarheid (test-retest): geeft het meetinstrument consequente scores
wanneer onderzoekers het meerdere keren gebruiken? Niet handig bij theoretische
begrippen die fluctueren met de tijd. De test worst als goed beoordeeld wanneer r > 0.50
Interbeoordelaarsbetrouwbaarheid (interrater): geeft het meetinstrument consequente
scores wanneer verschillende onderzoekers het gebruiken? Wordt vooral gebruikt bij
observaties. Het wordt als goed beoordeeld wanneer r > 0.70
Interne betrouwbaarheid (internal): geven respondenten soortgelijke antwoorden op
verschillende vragen over hetzelfde theoretische begrip? Vooral gebruikt bij surveys &
gemeten met Chronebach’s Alfa; meet de interne consistentie; de samenhang van vragen
binnen een survey. Chronebach’s Alfa in de sociale wetenschappen is goed wanneer 0.7
< 0.7 slecht
> 0.8 goed
Betrouwbaarheid meten;
1. Vragen in dezelfde richting coderen; hercoderen
2. Gemiddelde score of de som van de score berekenen
3. Correlaties; “Corrected item- total correlation” checken
4. Alleen wanneer < +/- 0.2 item verwijderen
5. Chronebach’s Alpha checken
6. Eventueel items weghalen voor een hogere Chronebach’s Alpha < 0.7
, Validiteit; wordt er gemeten wat je wilt meten?
- Externe validiteit: de mate waarin onderzoeksresultaten gelden voor een grotere groep dan
alleen de onderzochte groep; je kunt conclusies trekken die verder gaan dan alleen de
onderzochte groep. Dit hangt af van; de dataverzamelingsmethode & de manier waarop de
steekproef getrokken wordt
- Interne validiteit: alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten; de mate waarin je met zekerheid kunt stellen dat een vastgestelde oorzaak-
gevolgrelatie (causaal verband) niet door andere factoren kan worden verklaard.
- Statistische validiteit: verschillende manieren om een resultaat op z’n waarde te kunnen
beoordelen; hoe kunnen we de waarde van een resultaat beoordelen;
Begripsvaliditeit (construct validity): de validiteit van het meetinstrument dat is gebruikt om een
bepaald theoretisch begrip te meten; hoe weet een onderzoeker of er gemeten is wat er voor ogen
was?
Subjectief beoordelen (voor dataverzameling);
Indruksvaliditeit (face validity): hoe beoordelen de experts dit meetinstrument?
Experts gaan ernaar kijken
Inhoudsvaliditeit (content validity): meet het meetinstrument wel alle aspecten van
het theoretische begrip?
Empirisch beoordelen (na dataverzameling);
Convergente validiteit; komen de metingen van dit meetinstrument en metingen
van een ander meetinstrument (dat hetzelfde of soortgelijk begrip meet) overeen?
Divergente validiteit (discriminant validity): hangen de metingen van dit
meetinstrument juist niet samen met andere kenmerken?
Criterium validiteit; voorspelt het een uitkomst; hangen de metingen van de
meetinstrumenten samen met een andere uitkomstvariabele waarvan we weten dat
er een verband hoort te zijn?
Correlatie; een meting van sterkte en richting van een lineaire relatie tussen twee interval/ ratio
variabelen tussen -1 & +1 in de statistiek r
- Significantie van correlatie checken; “sig (2-tailed)” = p-waarde minimaal 0.5
Correlatie wordt gebruikt voor het meten van strekte en richting van een lineaire relatie
Significantie (p-waarde); “If p is low, H0 must go”
- Kleine p-waarde H0 verwerpen er is een relatie
- Grote p-waarde H0 niet verwerpen er is geen relatie
Vraag-antwoord model (Tourangeau)/ the response process; het process van een respondent tijden
het reageren op een vraag;
Comprehension; de vraag begrijpen
Retrieval; de informatie ophalen uit het geheugen
Judgement; gedachten, ideeën, meningen, ervaringen, herinneringen, informatie in het hoofd van de
respondent bij elkaar halen en een antwoord vormen o.b.v. de informatie; wil/ ga ik dit delen met de
interviewer, is dit wat de interviewer wilt horen van mij?
Response; verbaal antwoord geven
als interviewer faciliteer je dit volledige proces door vragen te stellen (inhoud) en te motiveren
(relatie/ rapport)
Verschillende reacties;
