Samenvatting TOE - UU
Hoorcollege C1: surveys - TOE
Correlationele data is data die een
samenhang hebben, het is overal. De
groei van digitale data is sinds het
internet exponentieel gegroeid.
Er zijn 2 manieren waarop correlationele
data verzameld wordt:
- Organisch = toevallige data. Het
kan worden opgedeeld in
aspirational en transactional
data. Aspirational data is data
die jij besluit te posten op
bijvoorbeeld social media. Je
genereert dit zelf zonder dat het
een doel heeft. Transactional data is data die door middel van transacties
gegenereerd wordt, dus wanneer je een bonuskaart scant of ergens met de pin voor
betaald.
- Doelgericht = data die bewust ontworpen is. Dit is op te delen in administrative data,
survey data en experimentele data. Administratieve data is data van de overheid,
de belastingdienst etc. Survey data is data voortgekomen uit een vragenlijst en
experiment data is data voortgekomen uit experimenteel onderzoek.
Doelen verzamelen correlationele data:
- De sociale werkelijkheid
beschrijven
- (causale) Relaties bestuderen
- Om te kunnen generaliseren naar
je doelpopulatie wat maakt dat je
gedragingen kunt voorspellen
Wanneer je een survey wilt afnemen zijn
er verschillende manieren om mensen te
bevragen:
- Face to face (CAPI): wordt veel bij
kinderen of ouderen gebruikt. Het kan door een interviewer vragen te laten stellen en
de antwoorden op te nemen dmv een telefoon of computer. CAPI staat voor
Computer-assisted personal interviews.
- Post: een vragenlijst wordt opgestuurd via de post
- Telefonisch (CATI): een vragenlijst wordt telefonisch afgenomen. CATI staat voor
computer-assisted telephone interviewing.
- Via het internet: dit kan via de mail of via websites
- Mixed-methods: er wordt een combinatie van methodes gebruikt, zo wordt
bijvoorbeeld een uitnodiging via de post verstuurd voor een enquête op het internet
of worden mensen gebeld om te vragen of ze willen meewerken aan een enquête.
Welke methode je gebruikt dat kan aan een aantal dingen liggen:
, - Mate van betrokkenheid van de interviewer: bij face-to-face interviews speelt de
interviewer een belangrijkere rol dan wanneer het via het internet gaat.
- Mate van interactie met de respondent: bij zowel telefonische als face-to-face
surveys is er interactie tussen de respondent en de interviewer, bij een survey via het
internet totaal niet.
- Mate van privacy: je hebt meer privacy voor het invullen van een vragenlijst via de
post of het internet dan wanneer je de vragenlijst telefonisch of face-to-face invult.
- Communicatiemogelijkheden
- visueel: dit kan via face-to-face, de post of het internet maar niet door een
telefonische survey
- auditief: dit kan door face-to-face surveys, door telefonische surveys en
surveys op het internet maar niet via de post
- Technologie gebruik
Ook kun je surveys vergelijken aan de hand van kosten, de hoeveelheid verwachte respons,
de controle van de onderzoeker over het interview en interviewer-effecten.
In Nederland hebben we een bevolkingsregister en meer dan 90% van de Nederlanders
maakt gebruik van internet. Telefonische enquêtes (random digit dialing) wordt niet veel
gebruikt omdat wij dus gewoon een register hebben, in Amerika wordt het wel veel gebruikt.
Marktonderzoekers gebruiken zowel selecte als aselecte online panels.
Ook wordt er veel panelonderzoek gedaan. Dit zijn onderzoeken waarbij de respondenten
over een langere periode gevolgd worden. De inhoud van de vragenlijsten is meestal
hetzelfde maar kan verschillen. Er wordt gekeken naar veranderingen/trends over tijd. De
voordelen van panelonderzoek is dat we binnen-persoonsveranderingen en causaliteit
kunnen meten. Ook kunnen we leeftijds-, periode- en cohort effecten verklaren. Een
cohort-effect is de invloed die specifieke, tijdsgebonden maatschappelijke gebeurtenissen
op een cohort kunnen hebben. De nadelen van panelonderzoek is de uitval (attrition) van
respondenten, hierbij krijg je eerst wel respons maar non respons in opeenvolgende
rondes. Ook kan dit zo zijn bij mensen die tijdelijk ziek worden of tijdelijk een drukke periode,
maar later wel weer meedoen met het onderzoek. Tenslotte kun je te maken krijgen met
leereffecten, dit is wanneer je je antwoorden van vorige vragenlijsten nog uit je hoofd weet
en deze invult. Je meet dan niet meer wat je wilt meten.
Om een theoretisch begrip te meten moet je operationaliseren:
Je maakt van een
theoretisch begrip een conceptuele definitie, dan maak je daar een operationele definitie van
en daarna een variabele. Bij een survey is het belangrijk dat de operationele definitie de
gehele conceptuele definitie meet. Als daar vervolgens een puntenscore uitkomt dan is dat
je variabele. In een vragenlijst kunnen meerdere vragen hetzelfde deel van een conceptuele
definitie meten.
Er zijn verschillende manieren om de antwoorden op je vragenlijst tot een variabele te
maken:
, - Coderen: de antwoorden van de vragen corresponderen met een cijfer, deze cijfers
tel je bij elkaar op om te kijken in welke categorie iemand valt.
- Het gemiddelde berekenen: wanneer mensen vergeten sommige vragen in te vullen
kun je een gemiddelde berekenen.
In veel vragenlijsten staan omgekeerde geformuleerde items. Dat zijn dus vragen die het
tegenovergestelde meten, wanneer je dan een hoge score hebt betekent het juist dat je een
lage score op het eind-variabele hebt. Dit is om de betrouwbaarheid van je onderzoek te
verhogen. Als je dit wilt coderen moet je dit ompolen. Als alle items goed gecodeerd zijn
kan een schaalscore worden berekend. Je kijkt naar of de som of het gemiddelde van alle
items.
, Hoorcollege C2: betrouwbaarheid en introductie regressie
Om een theoretisch begrip te meten, moeten onderzoekers bepaalde stappen volgen: Eerst
een theoretisch begrip opstellen, van deze een conceptuele definitie maken, vervolgens een
operationele definitie en daarna een variabele.
Om een conceptuele definitie te meten heb je een meetinstrument nodig. Een voorbeeld is
de PSS-SR (PTSD Symptom scale - self report), dit is een zelfrapportage vragenlijst
gemeten op een Likert schaal met 17 items, ontworpen om de symptomen van PTSS
volgens de DSM 4 te beoordelen. Om te weten of een meetinstrument goed is kijk je naar 2
dingen, de (begrips)validiteit en de betrouwbaarheid.
Een betrouwbare meting:
- Varieert niet door kenmerken van de manier waarop je hebt gemeten of het
meetinstrument, aka precisie. Een voorbeeld is dat de weegschaal elke keer
hetzelfde gewicht aan moet geven als je er 2 keer op staat.
Een valide meting:
- Meet hoe goed je meting
overeenkomt met het theoretische
begrip waarin je geïnteresseerd
bent, aka nauwkeurigheid.
Wanneer je kijkt naar je
(begrips)validiteit dan kijk je naar 5
punten:
1. Indruk: lijkt de meting in orde?
2. Inhoud: Meet het alle aspecten van het construct?
3. Convergent: Correleert het met een andere meting van hetzelfde construct?
4. Divergent: Correleert het niet met iets dat iets anders meet?
5. Criterium: Correleer het met een andere meting waarvan we weten dat er een relatie
is?
De sterkte van een relatie meet je met een correlatie. Dit is de maat voor het meten van de
sterkte en de richting van een lineaire relatie tussen 2 interval-/ratiovariabelen. Deze
correlatie wordt aangegeven met de r en is een waarde tussen de -1 en 1. De
correlatiecoëfficiënt kan ook gebruikt worden om de validiteit te meten.
Als je kijkt naar de betrouwbaarheid dan kan je dat op 3 manieren bekijken:
- Test-hertest
- Interbeoordelaar
- Interne: meet de betrouwbaarheid binnen de
vragenlijst. Dit meet je door de Cronbach’s
Alpha. Het meet dus interne consistentie. Dit
zijn complexe berekeningen en reken je uit
met een computer. Om deze
betrouwbaarheidsanalyses te gebruiken
moeten alle items in dezelfde richting zijn
gecodeerd.
Hoorcollege C1: surveys - TOE
Correlationele data is data die een
samenhang hebben, het is overal. De
groei van digitale data is sinds het
internet exponentieel gegroeid.
Er zijn 2 manieren waarop correlationele
data verzameld wordt:
- Organisch = toevallige data. Het
kan worden opgedeeld in
aspirational en transactional
data. Aspirational data is data
die jij besluit te posten op
bijvoorbeeld social media. Je
genereert dit zelf zonder dat het
een doel heeft. Transactional data is data die door middel van transacties
gegenereerd wordt, dus wanneer je een bonuskaart scant of ergens met de pin voor
betaald.
- Doelgericht = data die bewust ontworpen is. Dit is op te delen in administrative data,
survey data en experimentele data. Administratieve data is data van de overheid,
de belastingdienst etc. Survey data is data voortgekomen uit een vragenlijst en
experiment data is data voortgekomen uit experimenteel onderzoek.
Doelen verzamelen correlationele data:
- De sociale werkelijkheid
beschrijven
- (causale) Relaties bestuderen
- Om te kunnen generaliseren naar
je doelpopulatie wat maakt dat je
gedragingen kunt voorspellen
Wanneer je een survey wilt afnemen zijn
er verschillende manieren om mensen te
bevragen:
- Face to face (CAPI): wordt veel bij
kinderen of ouderen gebruikt. Het kan door een interviewer vragen te laten stellen en
de antwoorden op te nemen dmv een telefoon of computer. CAPI staat voor
Computer-assisted personal interviews.
- Post: een vragenlijst wordt opgestuurd via de post
- Telefonisch (CATI): een vragenlijst wordt telefonisch afgenomen. CATI staat voor
computer-assisted telephone interviewing.
- Via het internet: dit kan via de mail of via websites
- Mixed-methods: er wordt een combinatie van methodes gebruikt, zo wordt
bijvoorbeeld een uitnodiging via de post verstuurd voor een enquête op het internet
of worden mensen gebeld om te vragen of ze willen meewerken aan een enquête.
Welke methode je gebruikt dat kan aan een aantal dingen liggen:
, - Mate van betrokkenheid van de interviewer: bij face-to-face interviews speelt de
interviewer een belangrijkere rol dan wanneer het via het internet gaat.
- Mate van interactie met de respondent: bij zowel telefonische als face-to-face
surveys is er interactie tussen de respondent en de interviewer, bij een survey via het
internet totaal niet.
- Mate van privacy: je hebt meer privacy voor het invullen van een vragenlijst via de
post of het internet dan wanneer je de vragenlijst telefonisch of face-to-face invult.
- Communicatiemogelijkheden
- visueel: dit kan via face-to-face, de post of het internet maar niet door een
telefonische survey
- auditief: dit kan door face-to-face surveys, door telefonische surveys en
surveys op het internet maar niet via de post
- Technologie gebruik
Ook kun je surveys vergelijken aan de hand van kosten, de hoeveelheid verwachte respons,
de controle van de onderzoeker over het interview en interviewer-effecten.
In Nederland hebben we een bevolkingsregister en meer dan 90% van de Nederlanders
maakt gebruik van internet. Telefonische enquêtes (random digit dialing) wordt niet veel
gebruikt omdat wij dus gewoon een register hebben, in Amerika wordt het wel veel gebruikt.
Marktonderzoekers gebruiken zowel selecte als aselecte online panels.
Ook wordt er veel panelonderzoek gedaan. Dit zijn onderzoeken waarbij de respondenten
over een langere periode gevolgd worden. De inhoud van de vragenlijsten is meestal
hetzelfde maar kan verschillen. Er wordt gekeken naar veranderingen/trends over tijd. De
voordelen van panelonderzoek is dat we binnen-persoonsveranderingen en causaliteit
kunnen meten. Ook kunnen we leeftijds-, periode- en cohort effecten verklaren. Een
cohort-effect is de invloed die specifieke, tijdsgebonden maatschappelijke gebeurtenissen
op een cohort kunnen hebben. De nadelen van panelonderzoek is de uitval (attrition) van
respondenten, hierbij krijg je eerst wel respons maar non respons in opeenvolgende
rondes. Ook kan dit zo zijn bij mensen die tijdelijk ziek worden of tijdelijk een drukke periode,
maar later wel weer meedoen met het onderzoek. Tenslotte kun je te maken krijgen met
leereffecten, dit is wanneer je je antwoorden van vorige vragenlijsten nog uit je hoofd weet
en deze invult. Je meet dan niet meer wat je wilt meten.
Om een theoretisch begrip te meten moet je operationaliseren:
Je maakt van een
theoretisch begrip een conceptuele definitie, dan maak je daar een operationele definitie van
en daarna een variabele. Bij een survey is het belangrijk dat de operationele definitie de
gehele conceptuele definitie meet. Als daar vervolgens een puntenscore uitkomt dan is dat
je variabele. In een vragenlijst kunnen meerdere vragen hetzelfde deel van een conceptuele
definitie meten.
Er zijn verschillende manieren om de antwoorden op je vragenlijst tot een variabele te
maken:
, - Coderen: de antwoorden van de vragen corresponderen met een cijfer, deze cijfers
tel je bij elkaar op om te kijken in welke categorie iemand valt.
- Het gemiddelde berekenen: wanneer mensen vergeten sommige vragen in te vullen
kun je een gemiddelde berekenen.
In veel vragenlijsten staan omgekeerde geformuleerde items. Dat zijn dus vragen die het
tegenovergestelde meten, wanneer je dan een hoge score hebt betekent het juist dat je een
lage score op het eind-variabele hebt. Dit is om de betrouwbaarheid van je onderzoek te
verhogen. Als je dit wilt coderen moet je dit ompolen. Als alle items goed gecodeerd zijn
kan een schaalscore worden berekend. Je kijkt naar of de som of het gemiddelde van alle
items.
, Hoorcollege C2: betrouwbaarheid en introductie regressie
Om een theoretisch begrip te meten, moeten onderzoekers bepaalde stappen volgen: Eerst
een theoretisch begrip opstellen, van deze een conceptuele definitie maken, vervolgens een
operationele definitie en daarna een variabele.
Om een conceptuele definitie te meten heb je een meetinstrument nodig. Een voorbeeld is
de PSS-SR (PTSD Symptom scale - self report), dit is een zelfrapportage vragenlijst
gemeten op een Likert schaal met 17 items, ontworpen om de symptomen van PTSS
volgens de DSM 4 te beoordelen. Om te weten of een meetinstrument goed is kijk je naar 2
dingen, de (begrips)validiteit en de betrouwbaarheid.
Een betrouwbare meting:
- Varieert niet door kenmerken van de manier waarop je hebt gemeten of het
meetinstrument, aka precisie. Een voorbeeld is dat de weegschaal elke keer
hetzelfde gewicht aan moet geven als je er 2 keer op staat.
Een valide meting:
- Meet hoe goed je meting
overeenkomt met het theoretische
begrip waarin je geïnteresseerd
bent, aka nauwkeurigheid.
Wanneer je kijkt naar je
(begrips)validiteit dan kijk je naar 5
punten:
1. Indruk: lijkt de meting in orde?
2. Inhoud: Meet het alle aspecten van het construct?
3. Convergent: Correleert het met een andere meting van hetzelfde construct?
4. Divergent: Correleert het niet met iets dat iets anders meet?
5. Criterium: Correleer het met een andere meting waarvan we weten dat er een relatie
is?
De sterkte van een relatie meet je met een correlatie. Dit is de maat voor het meten van de
sterkte en de richting van een lineaire relatie tussen 2 interval-/ratiovariabelen. Deze
correlatie wordt aangegeven met de r en is een waarde tussen de -1 en 1. De
correlatiecoëfficiënt kan ook gebruikt worden om de validiteit te meten.
Als je kijkt naar de betrouwbaarheid dan kan je dat op 3 manieren bekijken:
- Test-hertest
- Interbeoordelaar
- Interne: meet de betrouwbaarheid binnen de
vragenlijst. Dit meet je door de Cronbach’s
Alpha. Het meet dus interne consistentie. Dit
zijn complexe berekeningen en reken je uit
met een computer. Om deze
betrouwbaarheidsanalyses te gebruiken
moeten alle items in dezelfde richting zijn
gecodeerd.
