Samenvatting Toepassing van Onderzoeksmethoden en Statistiek
Correlational Research Meeting 1: Surveys
Hoorcollege 1 Correlationeel
Onderzoekscyclus
Verschillende types data in dagelijks leven:
o Customer satisfaction (Klanttevredenheid)
o Political polls (Politieke polls)
o Governmental statistics (overheidsstatistieken)
Onderscheid in toevallige data (a.k.a Organische; zoals sociale media, betalingen, wordt
gegenereerd, niet gericht op onderzoek, data wordt geproduceerd door gebruik) opzettelijke data
(a.k.a. designed; met het oog op onderzoek, de data wordt verzameld met een reden).
Quantitatieve data
o Organisch → “ready made”, wordt gewoon gegenereerd door gebruik
- Aspirational
- Transactional
o Designed → “custom made”, wordt gegeneerd voor onderzoek
- Experimenteel
- Survey
- Administratief
In deze cursus wordt met name gekeken naar vragenlijsten (surveys). Je verzamelt data omdat je iets
wilt weten, meten, iets wil kunnen beïnvloeden, iets kunnen voorspellen; er zijn veel doelen. Vaak is
een van de doelen om te generaliseren over de grotere groep.
Doelen:
o Beschrijven
o Voorspellen
o Causale verbanden
,Verschillende vormen van vragenlijsten (Survey modes):
o Face-to-Face (CAPI, Computer assisted personalized interview
o Mail (Per post, niet email)
o Telefoon (CATI, computer assisted telephone interview)
o Internet
o Mixed-mode
Verschillen tussen de methoden
o De mate van betrokkenheid van de interviewer
o De mate van interactie met de respondent
o De mate van privacy
o De kanalen voor communicatie (visueel of auditief)
o De mate van technologie gebruik
Face to face Post Telefoon Internet
Kosten Hoog Laag Gemiddeld Laag
Response rate Hoog Laag Hoog Gemiddeld
Onderzoekers Hoog Laag Gemiddeld Gemiddeld
controle over
interview
Interviewer effect Hoog laag Gemiddeld Laag
Types van mixed-mode designs
Panel survey → interviewen respondenten in de loop van de tijd. Inhoud blijft meestal hetzelfde
maar kan verschillen
Voordelen:
o We kunnen veranderingen en causaliteit binnen een persoon beoordelen
o We kunnen leeftijds-, periode- en cohorteffecten ontwarren (Cohort effects → cohort is een
groep mensen met hetzelfde geboortejaar, een cohorteffect is de invloed die specifieke,
tijdsgebonden maatschappelijke gebeurtenissen op een cohort kunnen hebben).
Nadelen:
o Attrition (uitval, mensen die stoppen met de panel; dit kan problemen veroorzaken als
degene die stoppen en blijven significant van elkaar verschillen) drop-out, opeenvolgende
golf-non-respons
o Panel conditionering (A.k.a. learning effects, wanneer je een vragenlijst vaker invult, vul je
hem beter in omdat je het al een keer eerder hebt gedaan. Je kan dit voorkomen door te
kiezen voor mixed-methods)
,Operationele proces → om een theoretisch construct te meten moet de onderzoeker de volgende
stappen volgen:
Likert schaal → bijvoorbeeld; in hoeverre ben je het ergens mee eens? Deze antwoorden ga je
coderen; er zijn meerdere manieren waarop je dit kan doen. Bijvoorbeeld: een beetje (1), neutraal
(2), helemaal niet (3).
Wanneer je nummers (coderen) aan de vragen hangt is het een ordinale schaal omdat er nu een
volgorde in de nummering zit.
Item score → de score op 1 vraag
Het maken van een variabele
Doel: het creëren van 1 score die (bv. De ersnt van PTSS aangeeft)
1. Som van itemscores
Niet de voorkeur → wanneer iemand niet op iedere vraag heeft geantwoord klopt het totaal
van de schaalscoren niet meer
2. Gemiddelde van alle itemscores
Wel de voorkeur → wanneer je de gemiddelde score gebruikt kun je alsnog de vragenlijsten
meenemen die niet in zijn geheel zijn ingevuld.
3. Gewogen gemiddelde van de item scores
Dit item is belangrijker om het te meten of het moet zwaarder wegen
Reversely phrased items: Items waarvan de scores omgepoold moeten worden, deze vragen zijn in
tegengestelde richting gevraagd als de rest van de vragen.
Dan moet je hercoderen
1→4
2→3
3→2
4→1
, Correlational Research Meeting 2: Reliability & Introduction to
Regression
Hoorcollege 2 correlationeel
Hoe weten we of een meetinstrument een goed instrument is?
o (Construct) validiteit
Hoe goed je meting overeenkomt met het concept van belang. Juistheid van de meting.
Nauwkeurigheid. Meet ik wel wat ik wil meten?
o Betrouwbaarheid
De meting varieert niet door kenmerken van de manier waarop je hebt gemeten of het
meetinstrument. Precisie. Consistentie van de meting.
Hoge Lage Hoge
betrouwbaarheid betrouwbaarheid betrouwbaarheid
Lage validiteit Lage validiteit Hoge validiteit
Met een lage betrouwbaarheid kun je eigenlijk nooit een hoge validiteit hebben!
Measurement validity (meetvaliditeit)
o Face (gezichts validiteit) – ziet de meting er goed uit?
De expert bekijkt de vragenlijst en kijkt of hij/zij dit redelijk vindt
o Content (inhouds validiteit) – Meet het alle aspecten van het construct?
o Convergent – correleert het met een andere meting van hetzelfde construct?
o Divergent – correleert het niet met iets dat iets anders meet?
(Als ik een vragenlijst over depressie heb moet het niet andere psychologische effecten
meten)
o Criterion (criterium validiteit) – voorspelt het een uitkomst?
Measurement strength (Sterkte meten)
We meten de sterkte van de relatie met een correlatie. Correlatie is een maat voor de sterkte en
richting van een lineair verband tussen twee interval-/ratiovariabelen.
o Wordt aangeduid met een r (correlatiecoëfficiënt)
o Waarden liggen tussen -1 en +1
-1 perfecte relatie in negatief verband
+1 perfecte relatie in positief verband
0 geen enkele relatie
Betrouwbaarheid
o Test-hertest – wanneer je een test twee keer afneemt, krijg je dan dezelfde resultaten?
o Inter-rater – maakt het uit door wie de test wordt afgenomen? Meerdere mensen het
interview laten afnemen bij respondenten.
o Internal (interne) – hangen de items in het meetinstrument goed met elkaar samen?
Cronbach’s alpha gaat over de interne consistentie (betrouwbaarheid)
In welke maten correleren de items binnen een survey met elkaar?
Berekening wordt door de computer gedaan
→ Om betrouwbaarheidsanalyses te gebruiken, moeten alle items in dezelfde richting worden
gecodeerd
Correlational Research Meeting 1: Surveys
Hoorcollege 1 Correlationeel
Onderzoekscyclus
Verschillende types data in dagelijks leven:
o Customer satisfaction (Klanttevredenheid)
o Political polls (Politieke polls)
o Governmental statistics (overheidsstatistieken)
Onderscheid in toevallige data (a.k.a Organische; zoals sociale media, betalingen, wordt
gegenereerd, niet gericht op onderzoek, data wordt geproduceerd door gebruik) opzettelijke data
(a.k.a. designed; met het oog op onderzoek, de data wordt verzameld met een reden).
Quantitatieve data
o Organisch → “ready made”, wordt gewoon gegenereerd door gebruik
- Aspirational
- Transactional
o Designed → “custom made”, wordt gegeneerd voor onderzoek
- Experimenteel
- Survey
- Administratief
In deze cursus wordt met name gekeken naar vragenlijsten (surveys). Je verzamelt data omdat je iets
wilt weten, meten, iets wil kunnen beïnvloeden, iets kunnen voorspellen; er zijn veel doelen. Vaak is
een van de doelen om te generaliseren over de grotere groep.
Doelen:
o Beschrijven
o Voorspellen
o Causale verbanden
,Verschillende vormen van vragenlijsten (Survey modes):
o Face-to-Face (CAPI, Computer assisted personalized interview
o Mail (Per post, niet email)
o Telefoon (CATI, computer assisted telephone interview)
o Internet
o Mixed-mode
Verschillen tussen de methoden
o De mate van betrokkenheid van de interviewer
o De mate van interactie met de respondent
o De mate van privacy
o De kanalen voor communicatie (visueel of auditief)
o De mate van technologie gebruik
Face to face Post Telefoon Internet
Kosten Hoog Laag Gemiddeld Laag
Response rate Hoog Laag Hoog Gemiddeld
Onderzoekers Hoog Laag Gemiddeld Gemiddeld
controle over
interview
Interviewer effect Hoog laag Gemiddeld Laag
Types van mixed-mode designs
Panel survey → interviewen respondenten in de loop van de tijd. Inhoud blijft meestal hetzelfde
maar kan verschillen
Voordelen:
o We kunnen veranderingen en causaliteit binnen een persoon beoordelen
o We kunnen leeftijds-, periode- en cohorteffecten ontwarren (Cohort effects → cohort is een
groep mensen met hetzelfde geboortejaar, een cohorteffect is de invloed die specifieke,
tijdsgebonden maatschappelijke gebeurtenissen op een cohort kunnen hebben).
Nadelen:
o Attrition (uitval, mensen die stoppen met de panel; dit kan problemen veroorzaken als
degene die stoppen en blijven significant van elkaar verschillen) drop-out, opeenvolgende
golf-non-respons
o Panel conditionering (A.k.a. learning effects, wanneer je een vragenlijst vaker invult, vul je
hem beter in omdat je het al een keer eerder hebt gedaan. Je kan dit voorkomen door te
kiezen voor mixed-methods)
,Operationele proces → om een theoretisch construct te meten moet de onderzoeker de volgende
stappen volgen:
Likert schaal → bijvoorbeeld; in hoeverre ben je het ergens mee eens? Deze antwoorden ga je
coderen; er zijn meerdere manieren waarop je dit kan doen. Bijvoorbeeld: een beetje (1), neutraal
(2), helemaal niet (3).
Wanneer je nummers (coderen) aan de vragen hangt is het een ordinale schaal omdat er nu een
volgorde in de nummering zit.
Item score → de score op 1 vraag
Het maken van een variabele
Doel: het creëren van 1 score die (bv. De ersnt van PTSS aangeeft)
1. Som van itemscores
Niet de voorkeur → wanneer iemand niet op iedere vraag heeft geantwoord klopt het totaal
van de schaalscoren niet meer
2. Gemiddelde van alle itemscores
Wel de voorkeur → wanneer je de gemiddelde score gebruikt kun je alsnog de vragenlijsten
meenemen die niet in zijn geheel zijn ingevuld.
3. Gewogen gemiddelde van de item scores
Dit item is belangrijker om het te meten of het moet zwaarder wegen
Reversely phrased items: Items waarvan de scores omgepoold moeten worden, deze vragen zijn in
tegengestelde richting gevraagd als de rest van de vragen.
Dan moet je hercoderen
1→4
2→3
3→2
4→1
, Correlational Research Meeting 2: Reliability & Introduction to
Regression
Hoorcollege 2 correlationeel
Hoe weten we of een meetinstrument een goed instrument is?
o (Construct) validiteit
Hoe goed je meting overeenkomt met het concept van belang. Juistheid van de meting.
Nauwkeurigheid. Meet ik wel wat ik wil meten?
o Betrouwbaarheid
De meting varieert niet door kenmerken van de manier waarop je hebt gemeten of het
meetinstrument. Precisie. Consistentie van de meting.
Hoge Lage Hoge
betrouwbaarheid betrouwbaarheid betrouwbaarheid
Lage validiteit Lage validiteit Hoge validiteit
Met een lage betrouwbaarheid kun je eigenlijk nooit een hoge validiteit hebben!
Measurement validity (meetvaliditeit)
o Face (gezichts validiteit) – ziet de meting er goed uit?
De expert bekijkt de vragenlijst en kijkt of hij/zij dit redelijk vindt
o Content (inhouds validiteit) – Meet het alle aspecten van het construct?
o Convergent – correleert het met een andere meting van hetzelfde construct?
o Divergent – correleert het niet met iets dat iets anders meet?
(Als ik een vragenlijst over depressie heb moet het niet andere psychologische effecten
meten)
o Criterion (criterium validiteit) – voorspelt het een uitkomst?
Measurement strength (Sterkte meten)
We meten de sterkte van de relatie met een correlatie. Correlatie is een maat voor de sterkte en
richting van een lineair verband tussen twee interval-/ratiovariabelen.
o Wordt aangeduid met een r (correlatiecoëfficiënt)
o Waarden liggen tussen -1 en +1
-1 perfecte relatie in negatief verband
+1 perfecte relatie in positief verband
0 geen enkele relatie
Betrouwbaarheid
o Test-hertest – wanneer je een test twee keer afneemt, krijg je dan dezelfde resultaten?
o Inter-rater – maakt het uit door wie de test wordt afgenomen? Meerdere mensen het
interview laten afnemen bij respondenten.
o Internal (interne) – hangen de items in het meetinstrument goed met elkaar samen?
Cronbach’s alpha gaat over de interne consistentie (betrouwbaarheid)
In welke maten correleren de items binnen een survey met elkaar?
Berekening wordt door de computer gedaan
→ Om betrouwbaarheidsanalyses te gebruiken, moeten alle items in dezelfde richting worden
gecodeerd
