Correlationeel 1
Correlationeel onderzoek:
- kwantitatief
- relaties tussen variabelen
- causaal onderzoek is moeilijk (mogelijk met survey)
Manieren van data verzamelen/vormen:
1. Incidentally (organic data, costom made): data gegenereerd voor andere redenen
2. Puposeively (designed data, ready made): data gegenereerd voor het onderzoek zelf gemaakt
Administrative data: veel zelfde karakterastieken
voor organic data, maar niet verzameld met doel
voor het onderzoek (ander doel)
Aspirationele data: gecreëerd voor andere
gebruikers dan het onderzoek
Transactionele data: afschrijvingen van bijv. een
bankrekening (dingen kopen)
Correlationele data (designed)
Doelen van onderzoek uitvoeren en data verzamelen:
1. Sociale realiteit beschrijven
2. (causual) relaties bestuderen
3. Generaliseren naar de target populatie
Inferentie: generaliseren naar de rest van de populatie
groep trekken uit populatie > hypothese over populatie vormen > data analyseren > conclusies
vormen over onderzochte participanten > generaliseren naar de target populatie
Inferentiële doelen:
1. Beschrijven
2. Causaliteit
3. Voorspellen
Soorten survey manieren:
- Face-to-face (CAPI), Mail, Telefoon (CATI), Internet & Mixed-mode
- Mixed-mode designs begint met goedkoopste
Verschillen tussen de manieren:
- de mate waarin de interviewer betrokken is
- mate van interactie met de respondent
- mate van privacy (in interviewer toegediende mode minder privacy dan in zelf toegediende mode)
- kanalen van communicatie
- visueel, auditief
- technologisch gebruik
1
, Manier Face-to-face Mail Telefoon Internet
Kosten Hoog Laag gemiddeld Laag
Respont mate Hoog Laag Hoog Gemiddeld
Onderzoekers Hoog Laag Gemiddeld Gemiddeld
controle over het
interview
Interviewer Hoog Laag Gemiddeld Laag
effecten
Penal surveys: dezelfde of verschillende vragen verspreidt over een bepaalde tijd beantwoorden
- voordelen:
- persoonlijke veranderingen en oorzaken detecteren
- ontwarren van leeftijd, periode en cohort effecten
- nadelen:
- uitval (uitval of opeenvolging van non-responsen)
- penal conditionering (leer-effect)
Cross-sectional surveys: mensen beantwoorden een vragenlijst maar 1x
- niet mogelijk effecten van leeftijd, perioden en cohort effecten te ontwarren
Fouten bij surveys
Mogelijke fouten bij het opstellen/afnemen af surveys:
- dekkingsfout: niet alle participanten kunnen worden bereikt/staan in de lijst
- steekproeffout: wat je in de steekproef vindt is anders dan wat er in de populatie aan de hand is
- non-response fout: mensen die niet reageren, die verschillen van de mensen die wel reageren
- aanpassing (adjustment) fout
- metingsfout: wanneer mensen vragen beantwoorden in een sociaal gewenste manier
- procesfout: verkeerd doorvoeren/noteren van de resultaten
Dekkingsfouten ontstaan als:
- niet alle leden van de populatie een bekende en kans niet nul is om te zijn betrokken in de sample
- mensen die buiten de sampling frame verschillen van de mensen in de sample frame
Over-coverage: mensen/dingen die wel op de lijst staan, maar er niet op horen te staan
Under-coverage: mensen/dingen die niet op de lijst staan, maar er wel op heren te staan
Steekproeffouten ontstaan:
- sommige, niet alle participanten bevragen
- onzekerheid
- hebben statistieken nodig om de onzekerheden te kwantificeren
kunt mensen in het sample screenen of ze voldoen aan eisen en vervolgens buiten de groep laten
2
,Non-response fouten:
- als mensen die worden geselecteerd voor een survey en niet reageren anders zijn dan mensen die
wel deelnemen/reageren
- 2 soorten nonresponse:
1. Unit-nonresponse: beantwoorden geen van de vragen, doen niet mee
2. Item-nonresponse: beantwoorden bepaalde vragen en wel bepaalde vragen niet
- redenen: technische moeilijkheden, gebrek aan motivatie/interesse, gebrek aan vertrouwen met
gevoelige vragen
- non-response bias: systematische verschillen tussen respondenten en niet-respondenten op
relevante variabelen
Adjustment error: verschillen van de conclusies/uitkomsten van onderzoeken met dezelfde gegevens
(gebruik van verschillende wegings modellen, of andere adjustments)
- door dekking en non-response fouten kunnen statistieke gebaseerd op respondenten verschillen
van die van de targetpopulatie
adjustment: de onder gerepresenteerde sterker laten ‘meewegen’
adjustment: toerekening (voor item-nonresponse) voor item non-response
Interactie-effect: het effect van een specifieke combinatie van twee of meer categorische
onafhankelijke variabelen op een continue afhankelijk variabele
- als het effect van één onafhankelijke variabele op de afhankelijke variabele afhankelijk is van de
waarde van een andere onafhankelijke variabele
3
, Correlationeel 2, Measurement &
Surveys
Om theoretisch construct te meten:
construct > conceptuele definitie > operationele definitie > variabele
Hoe weet je of een meetinstrument een goed instrument is:
1. Betrouwbaarheid/precision: metingen verschillen niet door karakteristieken van hoe je hebt
gemeten of het meetinstrument
- consistentie van de metingen (consistency of meassurement)
2. Validiteit/accuracy: hoe goed je meting overeenkomt met de werkelijkheid
- juistheid van metingen (correctness of meassurement)
wanneer iets niet betrouwbaar is, kan het ook nooit valide zijn
Soorten validiteit (begripsvaliditeit):
1. Indruksvaliditeit: experts kijken/beoordelen of het meetinstrument meet wat wilt worden
gemeten
2. Inhoudsvaliditeit: of het meetinstrument alle aspecten van het construct meet
3. Convergente validiteit: of de metingen van dit meetinstrument en de metingen van een ander
meetinstrument (dat ongeveer hetzelfde meet) met elkaar overeen komen
- verwacht hoge correlatie
4. Divergente validiteit: of de metingen van het meetinstrument niet samen hangt met een ander
meetinstrument dat daadwerkelijk andere kenmerken heeft
- verwacht lage correlatie
5. Criterium validiteit: of de metingen van het meetinstrument samen hangen met een andere
uitkostvariabele waarvan we weten dat er een verband hoort te zijn
Correlatie (r): een meting van sterkte en richting van een lineaire relatie tussen twee interval/ratio
variabelen waarde tussen -1 en +1
Betrouwbaarheid
Test-hertest betrouwbaarheid: opnieuw testen, kijken zelfde resultaten
Interbeoordelaar betrouwbaarheid: meet of het meetinstrument consequente scores geeft
wanneer verschillende onderzoekers het gebruiken
Interne betrouwbaarheid: meet in hoeverre respondenten soortgelijke antwoorden op
verschillende vragen over hetzelfde theoretische begrip geven
Problemen survey:
- metingen zijn niet betrouwbaar (afhankelijk van herinneren en schattingen)
- meet soms niet wat je beweert te meten (construct validiteit)
Problemen met observeren in een lab:
- Hawthorne effect: mensen gedragen zich anders dan normaal
- alleen klein moment (snapshot)
problemen met externe validiteit (mogelijkheid tot generaliseren)
Nonresponse: deelnemers die niet reageren/deelnemen
Under-reporting: dingen niet/vergeten aan te geven
Coverage error: niet alle aspecten worden gedekt
4
Correlationeel onderzoek:
- kwantitatief
- relaties tussen variabelen
- causaal onderzoek is moeilijk (mogelijk met survey)
Manieren van data verzamelen/vormen:
1. Incidentally (organic data, costom made): data gegenereerd voor andere redenen
2. Puposeively (designed data, ready made): data gegenereerd voor het onderzoek zelf gemaakt
Administrative data: veel zelfde karakterastieken
voor organic data, maar niet verzameld met doel
voor het onderzoek (ander doel)
Aspirationele data: gecreëerd voor andere
gebruikers dan het onderzoek
Transactionele data: afschrijvingen van bijv. een
bankrekening (dingen kopen)
Correlationele data (designed)
Doelen van onderzoek uitvoeren en data verzamelen:
1. Sociale realiteit beschrijven
2. (causual) relaties bestuderen
3. Generaliseren naar de target populatie
Inferentie: generaliseren naar de rest van de populatie
groep trekken uit populatie > hypothese over populatie vormen > data analyseren > conclusies
vormen over onderzochte participanten > generaliseren naar de target populatie
Inferentiële doelen:
1. Beschrijven
2. Causaliteit
3. Voorspellen
Soorten survey manieren:
- Face-to-face (CAPI), Mail, Telefoon (CATI), Internet & Mixed-mode
- Mixed-mode designs begint met goedkoopste
Verschillen tussen de manieren:
- de mate waarin de interviewer betrokken is
- mate van interactie met de respondent
- mate van privacy (in interviewer toegediende mode minder privacy dan in zelf toegediende mode)
- kanalen van communicatie
- visueel, auditief
- technologisch gebruik
1
, Manier Face-to-face Mail Telefoon Internet
Kosten Hoog Laag gemiddeld Laag
Respont mate Hoog Laag Hoog Gemiddeld
Onderzoekers Hoog Laag Gemiddeld Gemiddeld
controle over het
interview
Interviewer Hoog Laag Gemiddeld Laag
effecten
Penal surveys: dezelfde of verschillende vragen verspreidt over een bepaalde tijd beantwoorden
- voordelen:
- persoonlijke veranderingen en oorzaken detecteren
- ontwarren van leeftijd, periode en cohort effecten
- nadelen:
- uitval (uitval of opeenvolging van non-responsen)
- penal conditionering (leer-effect)
Cross-sectional surveys: mensen beantwoorden een vragenlijst maar 1x
- niet mogelijk effecten van leeftijd, perioden en cohort effecten te ontwarren
Fouten bij surveys
Mogelijke fouten bij het opstellen/afnemen af surveys:
- dekkingsfout: niet alle participanten kunnen worden bereikt/staan in de lijst
- steekproeffout: wat je in de steekproef vindt is anders dan wat er in de populatie aan de hand is
- non-response fout: mensen die niet reageren, die verschillen van de mensen die wel reageren
- aanpassing (adjustment) fout
- metingsfout: wanneer mensen vragen beantwoorden in een sociaal gewenste manier
- procesfout: verkeerd doorvoeren/noteren van de resultaten
Dekkingsfouten ontstaan als:
- niet alle leden van de populatie een bekende en kans niet nul is om te zijn betrokken in de sample
- mensen die buiten de sampling frame verschillen van de mensen in de sample frame
Over-coverage: mensen/dingen die wel op de lijst staan, maar er niet op horen te staan
Under-coverage: mensen/dingen die niet op de lijst staan, maar er wel op heren te staan
Steekproeffouten ontstaan:
- sommige, niet alle participanten bevragen
- onzekerheid
- hebben statistieken nodig om de onzekerheden te kwantificeren
kunt mensen in het sample screenen of ze voldoen aan eisen en vervolgens buiten de groep laten
2
,Non-response fouten:
- als mensen die worden geselecteerd voor een survey en niet reageren anders zijn dan mensen die
wel deelnemen/reageren
- 2 soorten nonresponse:
1. Unit-nonresponse: beantwoorden geen van de vragen, doen niet mee
2. Item-nonresponse: beantwoorden bepaalde vragen en wel bepaalde vragen niet
- redenen: technische moeilijkheden, gebrek aan motivatie/interesse, gebrek aan vertrouwen met
gevoelige vragen
- non-response bias: systematische verschillen tussen respondenten en niet-respondenten op
relevante variabelen
Adjustment error: verschillen van de conclusies/uitkomsten van onderzoeken met dezelfde gegevens
(gebruik van verschillende wegings modellen, of andere adjustments)
- door dekking en non-response fouten kunnen statistieke gebaseerd op respondenten verschillen
van die van de targetpopulatie
adjustment: de onder gerepresenteerde sterker laten ‘meewegen’
adjustment: toerekening (voor item-nonresponse) voor item non-response
Interactie-effect: het effect van een specifieke combinatie van twee of meer categorische
onafhankelijke variabelen op een continue afhankelijk variabele
- als het effect van één onafhankelijke variabele op de afhankelijke variabele afhankelijk is van de
waarde van een andere onafhankelijke variabele
3
, Correlationeel 2, Measurement &
Surveys
Om theoretisch construct te meten:
construct > conceptuele definitie > operationele definitie > variabele
Hoe weet je of een meetinstrument een goed instrument is:
1. Betrouwbaarheid/precision: metingen verschillen niet door karakteristieken van hoe je hebt
gemeten of het meetinstrument
- consistentie van de metingen (consistency of meassurement)
2. Validiteit/accuracy: hoe goed je meting overeenkomt met de werkelijkheid
- juistheid van metingen (correctness of meassurement)
wanneer iets niet betrouwbaar is, kan het ook nooit valide zijn
Soorten validiteit (begripsvaliditeit):
1. Indruksvaliditeit: experts kijken/beoordelen of het meetinstrument meet wat wilt worden
gemeten
2. Inhoudsvaliditeit: of het meetinstrument alle aspecten van het construct meet
3. Convergente validiteit: of de metingen van dit meetinstrument en de metingen van een ander
meetinstrument (dat ongeveer hetzelfde meet) met elkaar overeen komen
- verwacht hoge correlatie
4. Divergente validiteit: of de metingen van het meetinstrument niet samen hangt met een ander
meetinstrument dat daadwerkelijk andere kenmerken heeft
- verwacht lage correlatie
5. Criterium validiteit: of de metingen van het meetinstrument samen hangen met een andere
uitkostvariabele waarvan we weten dat er een verband hoort te zijn
Correlatie (r): een meting van sterkte en richting van een lineaire relatie tussen twee interval/ratio
variabelen waarde tussen -1 en +1
Betrouwbaarheid
Test-hertest betrouwbaarheid: opnieuw testen, kijken zelfde resultaten
Interbeoordelaar betrouwbaarheid: meet of het meetinstrument consequente scores geeft
wanneer verschillende onderzoekers het gebruiken
Interne betrouwbaarheid: meet in hoeverre respondenten soortgelijke antwoorden op
verschillende vragen over hetzelfde theoretische begrip geven
Problemen survey:
- metingen zijn niet betrouwbaar (afhankelijk van herinneren en schattingen)
- meet soms niet wat je beweert te meten (construct validiteit)
Problemen met observeren in een lab:
- Hawthorne effect: mensen gedragen zich anders dan normaal
- alleen klein moment (snapshot)
problemen met externe validiteit (mogelijkheid tot generaliseren)
Nonresponse: deelnemers die niet reageren/deelnemen
Under-reporting: dingen niet/vergeten aan te geven
Coverage error: niet alle aspecten worden gedekt
4
