hoorcollege aantekeningen Correlationeel onderzoek Methodische aspecten

Correlationeel

HC 1: surveys



Correlationele data
- Organic (toevallig verzamelen, ready made)
o Aspirational (wel opzettelijk data produceren, maar niet met het doel voor
onderzoek. Bijv. sociale media)
o Transactional (data van creditcards, energiemaatschappijen etc.)
- Designed (ontworpen verzamelen, custom made)
o Experiment
o Survey
o Administrative (bedrijven vragen data aan klanten)

Doelen van dataverzameling
- Beschrijvende statistiek
- Causale relaties onderzoeken
- Generaliseren naar target populatie

Inferentiële doelen
- Description (wat is de rol van de vrouw in de maatschappij?)
- Causation (wat is de impact van het hebben van een dochter op vaders en hun kijk op
gendergelijkheid?)
- Prediction (welke van deze verkiezingskandidaten zou jouw eerste keuze zijn?)

Methoden van dataverzameling: survey

,Mixed mode
- Voor sommige methoden ben je meer/minder comfortabel met antwoorden
- Ene methode voor verwerving andere voor afnemen
- Ene methode voor datacollectie andere voor herinneringen of follow-ups
- Ene methode voor hoofddeel, andere voor subonderdelen, bijv. voor gevoeligere
onderwerpen

Panel survey (cross-sectional survey)
- Dezelfde respondenten interviewen over een bepaalde tijd
o Verandering beschrijven (+)
o Achtergrondfactoren onderzoeken: als je iets maar 1x vraagt kan je die niet
goed onderzoeken. (+)
o Attrition (uitval) (-)
 Drop-out
 Consecutive wave-nonresponse (tijdelijk niet meedoen)
o Panel conditioning (learning effects) (-)
 Tegengaan met mixed mode design

Fouten bij surveys

Representation

Dekkingsfout (coverage error)
- Doelpopulatie en steekproefkader overlappen niet ideaal
- Mensen hebben niet een gelijke kans om in de steekproef opgenomen te worden
- Speelt pas een problematische rol wanneer de mensen die niet op de lijst staan,
anders zijn dan de mensen in de steekproef

Under-coverage: niet op de lijst, maar wel in de populatie
Over-coverage: wel op de lijst, maar niet in de populatie

Steekproeffout (sample error)
- Speelt altijd wel een rol: afgaan van een foutmarge van 3%.

Non-response fout
- Wordt pas een probleem als mensen die niet reageren anders zijn dan degene die
wel reageren.
- Unit-nonresponse: mensen weigeren mee te doen
- Item-nonresponse: mensen weigeren bepaalde vragen te beantwoorden

Aanpassingsfout (adjustment error)
- Door dekkingsfouten en non-responsefouten kan de sample statistisch gezien
afwijken van de populatie

Onderrepresentatie
- Bijv. door onderrepresentatie van bepaalde groepen (verschil response
platteland/stad)

, - Daarom kan je data niet op een grote hoop gooien
- Adjustment: weighting up the underrepresented: een gewogen gemiddelde
berekenen

Item-nonresponse
- Adjustment: imputation (vragen invullen d.m.v. interpretatie van data van andere
participanten)

Measurement

Measurement error
- Komt voor wanneer participanten verkeerde antwoorden geven door
o Verkeerd afnemen van surveys: survey mode-effects
 Online antwoord je waarschijnlijk anders dan via de telefoon
 Slechte verwoording van vragen
 Onderdelen van gedrag




In de praktijk: survey zomertijd in de EU
- Dekkingsfout: alleen internetgebruikers konden meedoen
- Alleen vrijwilligers deden mee: daardoor veel uit Duitsland, weinig uit Nederland
- Non-response: alleen geïnteresseerden deden mee
- Adjustment error: geen adjustment voor grootte van het land. 80% van de
antwoorden kwam uit Duitsland. Er is niet gewogen voor land van herkomst: geen
gewogen gemiddelde.
- Measurement error: slecht geconstrueerde vragenlijst

, HC 2: measurement and surveys


Betrouwbaarheid: Reliable measurement: precision (steeds op dezelfde uitkomst
uitkomen)
- Consistency
- Test-hertest
- Interrater (interbeoordelaar) : uitkomst is onafhankelijk van wie het meetinstrument
gebruikt
- Internal: verschillende onderzoekers komen op dezelfde conclusie met behulp van
dezelfde data-gegevens.

Validity of measurement (begripsvaliditeit)
- Accuracy (meet je wat je moet weten?)
- Correctness
- Kan op vijf verschillende manieren bekeken worden
- Als mensen niet eerlijk antwoorden beïnvloedt dat de validity

Face validity (indruksvaliditeit)
= is het meetinstrument goed?

Content validity (inhoudsvaliditeit)
= met het meetinstrument alle aspecten van een begrip?

Convergent validity
= is er een samenhang met de uitkomst van meetinstrumenten A en B die hetzelfde begrip
meten?

Divergent validity
= is er geen samenhang met de uitkomst van meetinstrumenten A en B die iets verschillend
meten?

Criterion validity
= voorspelt de meting een criterium?

Response proces
= een valide en betrouwbaar, error-free survey maken is moeilijk

1. Begrip
2. Retrieval (kan je je alles herinneren?)
3. Beoordelen (judgement) (kan je het nog accuraat inschatten?)
4. Antwoord (ben je gewillig te antwoorden (social desirability?)

Survey issues that lead to bias
- Recall problems: under- or overestimation (judgement)
- Question bias due to
o Question wording (te moeilijk, te lang)