Hoorcollege 1 - Correlationeel I
Onderwerpen: survey & voorbereiden data
Theorie data cyclus versus onderwerpen correlationeel
onderzoek
Data wordt op verschillende manier verzameld
● Organisch (toevallig)
● Designed (doelgericht)
Survey/enquête: manier om data te verzamelen
Correlational data (designed)
We ontwerpen een onderzoek en verzamelen gegevens om
● De sociale werkelijkheid te beschrijven
● (Causale) relaties bestuderen
● Te generaliseren naar de doelpopulatie
Soorten surveys
● Face-to-face (CAPI): niet meest voor de hand liggend,
maar bij kinderen en ouderen wordt dit veel gebruikt
● Post (op papier)
● Telefonisch (CATI)
● Via het internet
● Mixed modes: samengevoegd
Verschillen tussen typen surveys
● Mate van betrokkenheid interviewer: bij face to face speelt interviewer grote rol
● Mate van interactie van de respondent
, ● Mate van privacy
● Communicatiemogelijkheden: visueel of
auditief
● Gebruik van technologie
Soorten surveys in Nederland
● Bevolkingsregister: iedereen staat geregistreerd
● Meer dan 90% internet gebruik
○ Telefonische enquêtes worden niet veel gebruikt (random digit dialing)
● Combinaties worden veel gebruikt
○ Uitnodiging via de post voor internetenquête
○ Telefoon component indien nummers bekend zijn
● Marktonderzoekers gebruiken zowel selecte als aselecte online panels
● Surveys ontworpen speciaal voor verschillende digitale media
○ Computer / smartphone
Mixed-modes Surveys
Is er een “mode-effect”: maakt de vorm uit voor wat voor antwoord je geeft?
Panelonderzoeken volgen respondenten over een langere periode. De inhoud van de vragenlijsten is
meestal hetzelfde maar kan verschillen. Voordelen:
● We kunnen binnen-persoon verandering en causaliteit meten
● We kunnen leeftijds-, periode- en cohort effecten verklaren
Potentiële fouten:
● Verloop (attrition): uitval of non respons in opeenvolgende rondes
● Panel conditionering: leereffecten → op een gegeven moment weet je de vragen uit je hoofd,
antwoord je dan wel eerlijk?
,Operationaliseren: om een theoretisch begrip te meten moeten onderzoekers bepaalde stappen volgen
Theoretisch begrip → conceptuele definitie → operationele definitie → variabele
Hoe komen we bij de variabele? → Doel: één score maken die de ernst van PTSS aangeeft
Optie 1: alle scores bij elkaar optellen
● 12 items, itemscores tussen de 1 en 4
● Antwoorden tussen de 12 en 48
Maar er is soms ook sprake van non respons en dan kunnen we helemaal niks van de info meenemen
Optie 2:
● Bereken het gemiddelde van alle itemscores
● Dit kan ook berekend worden met een paar missende waarden
Optie 3: gewogen gemiddelde van itemscores → gaan we niet behandelen
LET OP!
● Een lage score zou een “milde of geen PTSS” moeten betekenen
● Een hoge score zou “ernstige PTSS” moeten betekenen
In veel vragenlijsten vinden we omgekeerd geformuleerde items: sommige vragen
worden andersom gesteld (dus dan is een hoge score weinig PTSS)
● Deze moeten omgekeerd worden gecodeerd (achteraf):
hercoderen/ompolen
Dataset
Vragen
Person
Schaalscores berekenen
● Met de omgepoolde items kan
nu een schaalscore worden
berekend
● PTSS schaal score = gemiddelde over alle items → dit wordt de score en variabele voor PTSS
Hoorcollege 2 - Correlationeel II
Onderwerpen: voorbereiden data & analyseren
Hoe weten we of een meetinstrument een goed instrument is?
● (Begrips)validiteit
● Betrouwbaarheid
, Betrouwbare meting: meting varieert niet door kenmerken van a) de manier waarop je hebt gemeten of
b) het meetinstrument → precisie
● Consistentie van de meting
Valide meting: hoe goed je meting overeenkomt met het theoretische begrip waarin je geïnteresseerd
bent (meet je wat je wil meten?) → nauwkeurigheid
● Correctheid van de meting
Begripsvaliditeit
● Indruk: lijkt de meting in orde?
● Inhoud: meet het alle aspecten van het construct?
● Convergent: correleert het met een andere meting van hetzelfde construct
● Divergent: correleert het niet met iets dat iets anders meet?
● Criterium: correleert het met een andere meting waarvan we weten dat de relatie er is?
Betrouwbaarheid
● Test hertest betrouwbaarheid
● Interbeoordelaarsbetrouwbaarheid
● Interne betrouwbaarheid
Hoe te meten zonder herhaalde metingen?
Cronbach's Alpha meet interne consistentie: "In welke mate zijn de items in een vragenlijst met elkaar
gecorreleerd?” (is complex en wordt op computer berekend)
● Alpha <0,7 → slecht
● Alpha >0,8 → goed
→ Dit is afhankelijk van het gebruik van de enquête
De schaal verbeteren
● Controleer de correlaties tussen de individuele items en de schaal zonder dat item
○ Item-rest correlatie / item total correlatie
○ Vuistregel: rit <±0,2 → item kan mogelijk worden verwijderd
● Controleer bovendien wat er gebeurt met Cronbach's Alpha als de schaal zou worden gemaakt
zonder dat specifieke item
○ Chronbach’s Alpha if item dropped
○ Vuistregel: 𝛼 neemt het meest toe → item kan als eerste worden verwijderd
● Kijk ook altijd naar de inhoud en het subjectieve belang van de items
Variabele creëren
1) Ompolen van items (HC1)
2) Betrouwbaarheidsanalyse
3) Schaalscore berekenen (HC1)
Onderwerpen: survey & voorbereiden data
Theorie data cyclus versus onderwerpen correlationeel
onderzoek
Data wordt op verschillende manier verzameld
● Organisch (toevallig)
● Designed (doelgericht)
Survey/enquête: manier om data te verzamelen
Correlational data (designed)
We ontwerpen een onderzoek en verzamelen gegevens om
● De sociale werkelijkheid te beschrijven
● (Causale) relaties bestuderen
● Te generaliseren naar de doelpopulatie
Soorten surveys
● Face-to-face (CAPI): niet meest voor de hand liggend,
maar bij kinderen en ouderen wordt dit veel gebruikt
● Post (op papier)
● Telefonisch (CATI)
● Via het internet
● Mixed modes: samengevoegd
Verschillen tussen typen surveys
● Mate van betrokkenheid interviewer: bij face to face speelt interviewer grote rol
● Mate van interactie van de respondent
, ● Mate van privacy
● Communicatiemogelijkheden: visueel of
auditief
● Gebruik van technologie
Soorten surveys in Nederland
● Bevolkingsregister: iedereen staat geregistreerd
● Meer dan 90% internet gebruik
○ Telefonische enquêtes worden niet veel gebruikt (random digit dialing)
● Combinaties worden veel gebruikt
○ Uitnodiging via de post voor internetenquête
○ Telefoon component indien nummers bekend zijn
● Marktonderzoekers gebruiken zowel selecte als aselecte online panels
● Surveys ontworpen speciaal voor verschillende digitale media
○ Computer / smartphone
Mixed-modes Surveys
Is er een “mode-effect”: maakt de vorm uit voor wat voor antwoord je geeft?
Panelonderzoeken volgen respondenten over een langere periode. De inhoud van de vragenlijsten is
meestal hetzelfde maar kan verschillen. Voordelen:
● We kunnen binnen-persoon verandering en causaliteit meten
● We kunnen leeftijds-, periode- en cohort effecten verklaren
Potentiële fouten:
● Verloop (attrition): uitval of non respons in opeenvolgende rondes
● Panel conditionering: leereffecten → op een gegeven moment weet je de vragen uit je hoofd,
antwoord je dan wel eerlijk?
,Operationaliseren: om een theoretisch begrip te meten moeten onderzoekers bepaalde stappen volgen
Theoretisch begrip → conceptuele definitie → operationele definitie → variabele
Hoe komen we bij de variabele? → Doel: één score maken die de ernst van PTSS aangeeft
Optie 1: alle scores bij elkaar optellen
● 12 items, itemscores tussen de 1 en 4
● Antwoorden tussen de 12 en 48
Maar er is soms ook sprake van non respons en dan kunnen we helemaal niks van de info meenemen
Optie 2:
● Bereken het gemiddelde van alle itemscores
● Dit kan ook berekend worden met een paar missende waarden
Optie 3: gewogen gemiddelde van itemscores → gaan we niet behandelen
LET OP!
● Een lage score zou een “milde of geen PTSS” moeten betekenen
● Een hoge score zou “ernstige PTSS” moeten betekenen
In veel vragenlijsten vinden we omgekeerd geformuleerde items: sommige vragen
worden andersom gesteld (dus dan is een hoge score weinig PTSS)
● Deze moeten omgekeerd worden gecodeerd (achteraf):
hercoderen/ompolen
Dataset
Vragen
Person
Schaalscores berekenen
● Met de omgepoolde items kan
nu een schaalscore worden
berekend
● PTSS schaal score = gemiddelde over alle items → dit wordt de score en variabele voor PTSS
Hoorcollege 2 - Correlationeel II
Onderwerpen: voorbereiden data & analyseren
Hoe weten we of een meetinstrument een goed instrument is?
● (Begrips)validiteit
● Betrouwbaarheid
, Betrouwbare meting: meting varieert niet door kenmerken van a) de manier waarop je hebt gemeten of
b) het meetinstrument → precisie
● Consistentie van de meting
Valide meting: hoe goed je meting overeenkomt met het theoretische begrip waarin je geïnteresseerd
bent (meet je wat je wil meten?) → nauwkeurigheid
● Correctheid van de meting
Begripsvaliditeit
● Indruk: lijkt de meting in orde?
● Inhoud: meet het alle aspecten van het construct?
● Convergent: correleert het met een andere meting van hetzelfde construct
● Divergent: correleert het niet met iets dat iets anders meet?
● Criterium: correleert het met een andere meting waarvan we weten dat de relatie er is?
Betrouwbaarheid
● Test hertest betrouwbaarheid
● Interbeoordelaarsbetrouwbaarheid
● Interne betrouwbaarheid
Hoe te meten zonder herhaalde metingen?
Cronbach's Alpha meet interne consistentie: "In welke mate zijn de items in een vragenlijst met elkaar
gecorreleerd?” (is complex en wordt op computer berekend)
● Alpha <0,7 → slecht
● Alpha >0,8 → goed
→ Dit is afhankelijk van het gebruik van de enquête
De schaal verbeteren
● Controleer de correlaties tussen de individuele items en de schaal zonder dat item
○ Item-rest correlatie / item total correlatie
○ Vuistregel: rit <±0,2 → item kan mogelijk worden verwijderd
● Controleer bovendien wat er gebeurt met Cronbach's Alpha als de schaal zou worden gemaakt
zonder dat specifieke item
○ Chronbach’s Alpha if item dropped
○ Vuistregel: 𝛼 neemt het meest toe → item kan als eerste worden verwijderd
● Kijk ook altijd naar de inhoud en het subjectieve belang van de items
Variabele creëren
1) Ompolen van items (HC1)
2) Betrouwbaarheidsanalyse
3) Schaalscore berekenen (HC1)
