Aantekeningen TOE hoorcolleges
Correlationeel
Hoorcollege 1: surveys
Verschillende typen (correlationele) data:
- Customer satisfaction: hoe tevreden is een klant met een product, proces etc. -> tevredenheid
toetsen.
- Political polls: peilingen binnen de politiek
- Governmental statistics: data dat verzameld wordt door de overheid
Data wordt op verschillende manieren verzameld:
- Incidenteel
o Heet ook weel ‘organic’
o Ready made
- Met opzet (meestal voor specifiek onderzoeksdoel)
o Heet ook wel ‘designed’
o Custom made
Cyclus inferentiële statistiek (doelen)
- Beschrijving: Sociale realiteit beschrijven
- Relaties vaststellen: (causale) relaties bestuderen
- Voorspelling: Data generaliseren
Manieren om surveys af te nemen:
- Face-to-face (CAPI = computer assistant personal interview)
- Mail (post, geen e-mail)
- Telefoon (CATI = computer assistant telephone interview)
- Internet
- Gemixte modus (2 van bovenstaande methodes worden samengevoegd)
Verschillen tussen de methodes:
- Mate van de betrokkenheid van de interviewer
, - Mate van interactie met de respondent
- Mate van privacy
- Kanalen van communicatie
o Visueel
o Auditief
- Gebruik van technologie
Panel surveys: interview met respondenten over de tijd (dus op verschillende tijdstippen)
- Voordelen:
o Verandering over tijd registreren (causaliteit)
o Je kan rekening houden met bvb verschillende leeftijd, periodes etc.
o Cohort effecten: effecten van mensen uit een groep die op hetzelfde moment zijn
gestart
- Potentiële nadelen:
o Attrition (mensen vallen uit gedurende de tijd -> drop-out)
o Learning effect (als je elke keer dezelfde vragen moet beantwoorden, leer je jezelf aan
om een bepaald antwoord te geven)
Door dekkingsfout worden bepaalde
mensen over gerepresenteerd (bvb op het moment dat het een telefonische survey is jongeren) en
bepaalde mensen onder gerepresenteerd (in dit geval ouderen).
Door grote, aselecte steekproef wordt steekproeffout & standaardfout zo klein mogelijk.
Is dus niet te voorkomen, maar je kan de fout wel zo minimaal mogelijk houden.
Non response fout, 2 soorten:
- Unit-non response: wanneer mensen helemaal niet mee doen met de survey
- Item-non response: wanneer mensen een bepaalde vraag/set vragen niet beantwoorden
Adjustment (aanpassing) error: ontstaat bijvoorbeeld wanneer bepaalde groepen van de steekproef zijn
onder/oververtegenwoordigd. -> hier moet rekening mee gehouden worden.
Meeasurement errors: fouten die kunnen ontstaan als respondenten inaccurate antwoorden geven door:
- Survey mode effecten
- Slechte verwoording van vragen
- Aspecten van het gedrag van mensen
,Processing error: fout die gemaakt wordt bij bvb het berekenen van statistieken.
Hoorcollege 2 – Measurement & surveys
Stappen om een (theoretisch) construct te meten:
Construct -> conceptuele definitie -> operationele definitie -> variabele
Betrouwbaarheid (consistentie): meting varieert niet door karakteristieken van hoe je hebt gemeten.
Validiteit (juistheid): Meet het meetinstrument wel wat het beoogt te meten?
5 soorten validiteit:
- Convergente validiteit: komen de resultaten overeen met andere metingen van hetzelfde
construct?
- Divergente validiteit: komen de resultaten niet overeen met metingen van een ander construct?
- Criterium validiteit: voorspelt het een uitkomst?
- Indruksvaliditeit: beoordelen experts de metingen als juist?
- Inhoudsvaliditeit: worden alle aspecten van het construct gemeten?
We meten de sterkte van een relatie met een correlatie:
- Beschrijven we met ‘r’ (valt tussen -1 & +1). Hoe dichter bij +/-1, hoe sterker de relatie
Soorten betrouwbaarheid:
- Test-hertest betrouwbaarheid: blijven resultaten consistent wanneer er opnieuw wordt
gemeten?
- Interbeoordelaars betrouwbaarheid: beoordelen experts de resultaten consistent?
- Internale betrouwbaarheid: samenhang tussen items binnen een vragenlijst
Hawthorne effect: mensen gedragen zich anders dan normaal doordat ze weten dat ze geobserveerd
etc. worden.
Waarom is het moeilijk om ‘error-free’ (betrouwbare en valide) metingen te verrichten in surveys?
Responsemodel:
Vraag biases:
- Vraag verwoording
o Moeilijke woorden
o Moeilijke zinsconstructie
, - Leading questions
o Niet neutraal door bijvoorbeeld bijgevoegde info die meer neigt naar een standpunt
- Double-barraled question: een vraag die eigenlijk 2 dingen vraagt
o Moeilijk te beantwoorden: met welke ben je het eens?
- Sensitieve vragen
- Telescoop effects: vertekening door het feit dat er een vraag gesteld wordt over een lange
tijdsperiode terug
- Volgorde effect
o De inhoud van de ene vraag kan invloed uitoefenen op de volgende vraag
Response biases:
- We gaan er vanuit dat respondenten alle stappen doorgaan van het onderzoek (optimizing),
maar ze kunnen kortere routes nemen (satisficing)
- Sociale gewenstheid
- Acquienscence: mensen hebben een grotere neiging om ja te zeggen/het ergens mee eens te
zijn dan andersom
- Primacy/recency effecten:
o Vaak eerste keuze uit de antwoorden lijst kiezen (eerste/primacy)
o Iets kiezen wat je als laatst hebt gehoord (laatste/recency)
- Straight-lining/nondifferentiation
o Neiging om hetzelfde antwoord te geven op veel vragen (likert schaal)
- Fence setting
o Het niet kiezen van extreme categorieën (zoals compleet eens/compleet oneens)
Vooral als likert schaal groot is (meer dan 7 opties)
Hoorcollege 3 – reliability and regression
Een variabele creeëren:
- Doel: creëer 1 score die alle waarden samenvat. Opties:
o Som van de item scores
Maar, wat als een respondent niet alles beantwoord:
o Neem het gemiddelde van alle item scores
o Neem het gewogen gemiddelde
Sommige antwoorden zijn belangrijker en tellen dus zwaarder dan anderen
Let op bij het creëren van een waarden die alle antwoorden samenvat:
- Er kan sprake zijn van ‘reversely phrased’ items.
o Om dubbel negatieve vragen te vermijden
o Om ‘straight line’ antwoorden te voorkomen
Er moet omgedraaid gecodeerd worden
Betrouwbaarheid:
- Cronbach’s Alpha
- Metingen met internale consistentie
o In welke mate correleren de items in de survey
De variabele die voorspelt wordt: y-variabele (afhankelijke variabele)
Correlationeel
Hoorcollege 1: surveys
Verschillende typen (correlationele) data:
- Customer satisfaction: hoe tevreden is een klant met een product, proces etc. -> tevredenheid
toetsen.
- Political polls: peilingen binnen de politiek
- Governmental statistics: data dat verzameld wordt door de overheid
Data wordt op verschillende manieren verzameld:
- Incidenteel
o Heet ook weel ‘organic’
o Ready made
- Met opzet (meestal voor specifiek onderzoeksdoel)
o Heet ook wel ‘designed’
o Custom made
Cyclus inferentiële statistiek (doelen)
- Beschrijving: Sociale realiteit beschrijven
- Relaties vaststellen: (causale) relaties bestuderen
- Voorspelling: Data generaliseren
Manieren om surveys af te nemen:
- Face-to-face (CAPI = computer assistant personal interview)
- Mail (post, geen e-mail)
- Telefoon (CATI = computer assistant telephone interview)
- Internet
- Gemixte modus (2 van bovenstaande methodes worden samengevoegd)
Verschillen tussen de methodes:
- Mate van de betrokkenheid van de interviewer
, - Mate van interactie met de respondent
- Mate van privacy
- Kanalen van communicatie
o Visueel
o Auditief
- Gebruik van technologie
Panel surveys: interview met respondenten over de tijd (dus op verschillende tijdstippen)
- Voordelen:
o Verandering over tijd registreren (causaliteit)
o Je kan rekening houden met bvb verschillende leeftijd, periodes etc.
o Cohort effecten: effecten van mensen uit een groep die op hetzelfde moment zijn
gestart
- Potentiële nadelen:
o Attrition (mensen vallen uit gedurende de tijd -> drop-out)
o Learning effect (als je elke keer dezelfde vragen moet beantwoorden, leer je jezelf aan
om een bepaald antwoord te geven)
Door dekkingsfout worden bepaalde
mensen over gerepresenteerd (bvb op het moment dat het een telefonische survey is jongeren) en
bepaalde mensen onder gerepresenteerd (in dit geval ouderen).
Door grote, aselecte steekproef wordt steekproeffout & standaardfout zo klein mogelijk.
Is dus niet te voorkomen, maar je kan de fout wel zo minimaal mogelijk houden.
Non response fout, 2 soorten:
- Unit-non response: wanneer mensen helemaal niet mee doen met de survey
- Item-non response: wanneer mensen een bepaalde vraag/set vragen niet beantwoorden
Adjustment (aanpassing) error: ontstaat bijvoorbeeld wanneer bepaalde groepen van de steekproef zijn
onder/oververtegenwoordigd. -> hier moet rekening mee gehouden worden.
Meeasurement errors: fouten die kunnen ontstaan als respondenten inaccurate antwoorden geven door:
- Survey mode effecten
- Slechte verwoording van vragen
- Aspecten van het gedrag van mensen
,Processing error: fout die gemaakt wordt bij bvb het berekenen van statistieken.
Hoorcollege 2 – Measurement & surveys
Stappen om een (theoretisch) construct te meten:
Construct -> conceptuele definitie -> operationele definitie -> variabele
Betrouwbaarheid (consistentie): meting varieert niet door karakteristieken van hoe je hebt gemeten.
Validiteit (juistheid): Meet het meetinstrument wel wat het beoogt te meten?
5 soorten validiteit:
- Convergente validiteit: komen de resultaten overeen met andere metingen van hetzelfde
construct?
- Divergente validiteit: komen de resultaten niet overeen met metingen van een ander construct?
- Criterium validiteit: voorspelt het een uitkomst?
- Indruksvaliditeit: beoordelen experts de metingen als juist?
- Inhoudsvaliditeit: worden alle aspecten van het construct gemeten?
We meten de sterkte van een relatie met een correlatie:
- Beschrijven we met ‘r’ (valt tussen -1 & +1). Hoe dichter bij +/-1, hoe sterker de relatie
Soorten betrouwbaarheid:
- Test-hertest betrouwbaarheid: blijven resultaten consistent wanneer er opnieuw wordt
gemeten?
- Interbeoordelaars betrouwbaarheid: beoordelen experts de resultaten consistent?
- Internale betrouwbaarheid: samenhang tussen items binnen een vragenlijst
Hawthorne effect: mensen gedragen zich anders dan normaal doordat ze weten dat ze geobserveerd
etc. worden.
Waarom is het moeilijk om ‘error-free’ (betrouwbare en valide) metingen te verrichten in surveys?
Responsemodel:
Vraag biases:
- Vraag verwoording
o Moeilijke woorden
o Moeilijke zinsconstructie
, - Leading questions
o Niet neutraal door bijvoorbeeld bijgevoegde info die meer neigt naar een standpunt
- Double-barraled question: een vraag die eigenlijk 2 dingen vraagt
o Moeilijk te beantwoorden: met welke ben je het eens?
- Sensitieve vragen
- Telescoop effects: vertekening door het feit dat er een vraag gesteld wordt over een lange
tijdsperiode terug
- Volgorde effect
o De inhoud van de ene vraag kan invloed uitoefenen op de volgende vraag
Response biases:
- We gaan er vanuit dat respondenten alle stappen doorgaan van het onderzoek (optimizing),
maar ze kunnen kortere routes nemen (satisficing)
- Sociale gewenstheid
- Acquienscence: mensen hebben een grotere neiging om ja te zeggen/het ergens mee eens te
zijn dan andersom
- Primacy/recency effecten:
o Vaak eerste keuze uit de antwoorden lijst kiezen (eerste/primacy)
o Iets kiezen wat je als laatst hebt gehoord (laatste/recency)
- Straight-lining/nondifferentiation
o Neiging om hetzelfde antwoord te geven op veel vragen (likert schaal)
- Fence setting
o Het niet kiezen van extreme categorieën (zoals compleet eens/compleet oneens)
Vooral als likert schaal groot is (meer dan 7 opties)
Hoorcollege 3 – reliability and regression
Een variabele creeëren:
- Doel: creëer 1 score die alle waarden samenvat. Opties:
o Som van de item scores
Maar, wat als een respondent niet alles beantwoord:
o Neem het gemiddelde van alle item scores
o Neem het gewogen gemiddelde
Sommige antwoorden zijn belangrijker en tellen dus zwaarder dan anderen
Let op bij het creëren van een waarden die alle antwoorden samenvat:
- Er kan sprake zijn van ‘reversely phrased’ items.
o Om dubbel negatieve vragen te vermijden
o Om ‘straight line’ antwoorden te voorkomen
Er moet omgedraaid gecodeerd worden
Betrouwbaarheid:
- Cronbach’s Alpha
- Metingen met internale consistentie
o In welke mate correleren de items in de survey
De variabele die voorspelt wordt: y-variabele (afhankelijke variabele)
