OP 1: Survey week 1
Introductie + fouten in surveys
In dit hoorcollege:
Fouten in surveys
- Wat zou er fout kunnen gaan?
Het is belangrijk om te weten wat er fout gaat in je onderzoek. Op die manier kun je beter
interpreteren hoe valide je resultaten zijn.
In surveyonderzoek is er sprake van een lange traditie van focus leggen op verschillende
aspecten waar het fout kan gaan. Er wordt gekeken naar verschillende manieren en zo kun je
zien waar het voornamelijk het meeste fout gaat. Op deze manier en met deze kennis kan
vervolgonderzoek beter worden uitgevoerd.
Fouten maken is de beste manier om te leren!
Je kunt kijken waar het fout gaat en vervolgens kun je dit gaat verbeteren.
Fouten in surveys
Wanneer we een survey afnemen stellen we vragen aan individuen. We hebben hierbij
individuen en antwoorden van die individuen op de vragen nodig. Je wilt iets over de
populatie zeggen. We kunnen niet de gehele populatie vragen voorleggen, je neemt een
‘steekproef’ uit die populatie.
Er kan sprake zijn van systematische bias-> consistente fout
Er kan ook sprake zijn van random-fout/random-error-> geen representativiteit
,Soorten fouten:
Random error
- Sample: sampling error= de steekproef is op de juiste manier getrokken en zou in
theorie representatief moeten zijn, maar er bestaat een kans dat er geen
representatieve steekproef is getrokken It happens
- Questions: invalidity= de vragen die je stelt zijn moeilijk en daarom krijg je geen
valide antwoord. ‘honest mistake’
Voorbeeld: je vraagt hoeveel nummers de studenten deze week op Spotify geluisterd
hebben. Dit weten de studenten eigenlijk niet zeker. Ze gaan gokken. Sommigen te
hoog, sommigen te laag. Als je het gemiddelde antwoord neemt, kun je aannemen
dat dat voor de populatie zal gelden. Als geheel zal dit getal valide zijn voor de
populatie (het gemiddelde van allemaal), maar het individuele antwoord zal
waarschijnlijk niet valide zijn.
Bias (systematic) error= als we iets specifiek fout doen
- Sample bias= als je alleen mensen van de voorste rij uit een collegezaal in je
steekproef opneemt, krijg je andere bevindingen dan wanneer je een ‘random
steekproef’ uit je populatie (in dit geval de studenten in de collegezaal) trekt.
- Questions: bias
Voorbeeld: vraag aan studenten of ze de literatuur van vandaag gelezen hebben. De
studenten zullen bijna allemaal (95%) ‘ja’ zeggen op deze vraag. Deze studenten
zullen echter lang niet allemaal de stof gelezen hebben. Dit komt puur omdat de
docent hun dit vraagt, maar als een medestudent het vraagt zal er eerder een valide
antwoord worden gegeven.
De manier waarop je een vraag stelt, heeft effect op de validiteit van de antwoorden die je
zult krijgen.
Vragenstellen
Wat is er fout aan deze vragen?
Het is een double-barreled vraag (vraag met een dubbel vak; bestaat uit afzonderlijke
kwesties, in dit geval: fun en interesting)
Let op als er ‘en’ in de vraag staat
, Dit is een leidende vraag.
Biased vraag.
Gedeelde kenmerken van fouten in surveys
Een vraag met weinig woorden
De manier waarop de onderzoeker de vraag stelt
Misverstand aan de kant van de geïnterviewde-> snapt de vraag niet
Geheugenproblemen aan de kant van de geïnterviewde
De manier waarop de informatie is opgenomen door de onderzoeker
De manier waarop de informatie is verwerkt, of de antwoorden zijn gecodeerd of
wanneer de gegevens ingevoerd worden in de computer
Als je simpele antwoorden wil, maak je vragen en antwoordmogelijkheden duidelijk en
makkelijk. Als het niet nodig is om de respondent in het geheugen te laten graven, doe dit
dan ook niet.
I don’t know
- ‘ik weet het niet’ zeggen kan cultureel gevoelig zijn (ze weten bijv. dat de
onderzoeker niet veel aan dat antwoord zal hebben, ze willen je helpen)
- ‘ik weet het niet’ zeggen kan verschillen bij verschillende opleidingsniveaus
Soms is er ook een andere optie: ‘ik weet het niet’ of ‘hier heb ik onvoldoende informatie
voor’. Als je deze optie toevoegt zullen de antwoorden anders zijn. Meer mensen zullen
voor deze optie kiezen. Dit is makkelijker. Conclusie: je kunt niet zomaar aannemen hoe
mensen die ‘ik weet het niet’ aangeven, antwoord zullen geven op de vraag wanneer deze
optie er niet in zou zitten.
Midpoints
Introductie + fouten in surveys
In dit hoorcollege:
Fouten in surveys
- Wat zou er fout kunnen gaan?
Het is belangrijk om te weten wat er fout gaat in je onderzoek. Op die manier kun je beter
interpreteren hoe valide je resultaten zijn.
In surveyonderzoek is er sprake van een lange traditie van focus leggen op verschillende
aspecten waar het fout kan gaan. Er wordt gekeken naar verschillende manieren en zo kun je
zien waar het voornamelijk het meeste fout gaat. Op deze manier en met deze kennis kan
vervolgonderzoek beter worden uitgevoerd.
Fouten maken is de beste manier om te leren!
Je kunt kijken waar het fout gaat en vervolgens kun je dit gaat verbeteren.
Fouten in surveys
Wanneer we een survey afnemen stellen we vragen aan individuen. We hebben hierbij
individuen en antwoorden van die individuen op de vragen nodig. Je wilt iets over de
populatie zeggen. We kunnen niet de gehele populatie vragen voorleggen, je neemt een
‘steekproef’ uit die populatie.
Er kan sprake zijn van systematische bias-> consistente fout
Er kan ook sprake zijn van random-fout/random-error-> geen representativiteit
,Soorten fouten:
Random error
- Sample: sampling error= de steekproef is op de juiste manier getrokken en zou in
theorie representatief moeten zijn, maar er bestaat een kans dat er geen
representatieve steekproef is getrokken It happens
- Questions: invalidity= de vragen die je stelt zijn moeilijk en daarom krijg je geen
valide antwoord. ‘honest mistake’
Voorbeeld: je vraagt hoeveel nummers de studenten deze week op Spotify geluisterd
hebben. Dit weten de studenten eigenlijk niet zeker. Ze gaan gokken. Sommigen te
hoog, sommigen te laag. Als je het gemiddelde antwoord neemt, kun je aannemen
dat dat voor de populatie zal gelden. Als geheel zal dit getal valide zijn voor de
populatie (het gemiddelde van allemaal), maar het individuele antwoord zal
waarschijnlijk niet valide zijn.
Bias (systematic) error= als we iets specifiek fout doen
- Sample bias= als je alleen mensen van de voorste rij uit een collegezaal in je
steekproef opneemt, krijg je andere bevindingen dan wanneer je een ‘random
steekproef’ uit je populatie (in dit geval de studenten in de collegezaal) trekt.
- Questions: bias
Voorbeeld: vraag aan studenten of ze de literatuur van vandaag gelezen hebben. De
studenten zullen bijna allemaal (95%) ‘ja’ zeggen op deze vraag. Deze studenten
zullen echter lang niet allemaal de stof gelezen hebben. Dit komt puur omdat de
docent hun dit vraagt, maar als een medestudent het vraagt zal er eerder een valide
antwoord worden gegeven.
De manier waarop je een vraag stelt, heeft effect op de validiteit van de antwoorden die je
zult krijgen.
Vragenstellen
Wat is er fout aan deze vragen?
Het is een double-barreled vraag (vraag met een dubbel vak; bestaat uit afzonderlijke
kwesties, in dit geval: fun en interesting)
Let op als er ‘en’ in de vraag staat
, Dit is een leidende vraag.
Biased vraag.
Gedeelde kenmerken van fouten in surveys
Een vraag met weinig woorden
De manier waarop de onderzoeker de vraag stelt
Misverstand aan de kant van de geïnterviewde-> snapt de vraag niet
Geheugenproblemen aan de kant van de geïnterviewde
De manier waarop de informatie is opgenomen door de onderzoeker
De manier waarop de informatie is verwerkt, of de antwoorden zijn gecodeerd of
wanneer de gegevens ingevoerd worden in de computer
Als je simpele antwoorden wil, maak je vragen en antwoordmogelijkheden duidelijk en
makkelijk. Als het niet nodig is om de respondent in het geheugen te laten graven, doe dit
dan ook niet.
I don’t know
- ‘ik weet het niet’ zeggen kan cultureel gevoelig zijn (ze weten bijv. dat de
onderzoeker niet veel aan dat antwoord zal hebben, ze willen je helpen)
- ‘ik weet het niet’ zeggen kan verschillen bij verschillende opleidingsniveaus
Soms is er ook een andere optie: ‘ik weet het niet’ of ‘hier heb ik onvoldoende informatie
voor’. Als je deze optie toevoegt zullen de antwoorden anders zijn. Meer mensen zullen
voor deze optie kiezen. Dit is makkelijker. Conclusie: je kunt niet zomaar aannemen hoe
mensen die ‘ik weet het niet’ aangeven, antwoord zullen geven op de vraag wanneer deze
optie er niet in zou zitten.
Midpoints
