Kwantitatieve onderzoeksmethodologie
Hoorcollege 1 gegevensverzameling
De beslissingen en argumentatie wordt beantwoord met behulp van het Stephen Toulmins
argumentatiemodel. De conclusie is een keuze, besluit of opvatting. De gegevens bestaan uit
informatie, statistische resultaten, type onderzoeksvraag, meetniveaus of resultaten uit
eerder onderzoek. De rechtvaardiging gaat via regels en principes, dit ligt tussen de
gegevens en de conclusie.
Kwaliteit van onderzoek wordt bepaald met de volgende drie aspecten:
Validiteit
De mate waarin de gemeten kenmerken daadwerkelijk de kenmerken zijn van de
onderzochte objecten (systematische of random error).
Betrouwbaarheid
De mate waarin de metingen van de kenmerken dezelfde resultaten oplevert als het
onderzoek onder dezelfde omstandigheden zou worden herhaald.
Bruikbaarheid
De mate waarin de onderzoeksresultaten goed aansluiten bij het probleem van de
opdrachtgever, ofwel die daadwerkelijk kunnen bijdragen aan de oplossing van een
praktijkprobleem.
De empirische cyclus
Kwantitatieve data
Onderzoekstrategieën:
Survey beschrijvende en explorerende vragen
Experiment je probeert een effect te verklaren, toetsende vragen
Dataverzameling
Vragenlijsten
Observaties
Inhoudsanalyse bestaande documentatie gebruiken voor gegevensverzameling
Data
Primair: specifiek voor het onderzoek zelf
Secundair: verzameld voor een ander doel
,Vragenlijst
Vraagtypen
Open/ gesloten vragen
Single/multiple respons
Dichotome vragen (wel of niet/ juist of onjuist/ 0 of 1 vragen)
Schaal items telkens dezelfde antwoordmogelijkheden (bijvoorbeeld Likert)
Formulering van vragen
Gebruik gewone woorden
Gebruik eenduidige woorden
Vermijd impliciete veronderstellingen/assumpties niet vanuit gaan dat een
bepaald iets gewoon is onder iedereen.
Vermijd generalisaties en schattingen
Gebruik positieve en negatieve stellingen
Steekproeven
Begrippen: Bijvoorbeeld:
• populatie • alle studenten in NL
• operationele populatie • alle studenten in Nijmegen en Utrecht
• steekproefkader • studentenadministraties
• steekproef • 600 getrokken studenten
• gerealiseerde steekproef • 500 overgebleven
Technieken:
• Op toevalsbasis (aselect): representativiteit mag worden verondersteld; kans
steekproeven
• Niet op toevalsbasis: representativiteit mag niet worden verondersteld; niet-kans
steekproeven
Ethische aspecten
Toestemming (informed consent) mag je observeren/interview publiekelijk stellen
Vertrouwelijkheid en privacy
En zaken veranderen (meegaan met de tijd)
Toets op representativiteit
• Representativiteit: mate waarin de steekproef op relevante kenmerken een goede
afspiegeling vormt van de populatie
• Representativiteitstoets voor één variabele
• Aantal klanten bij drie winkels (ontleend aan De Vocht, 2006)
• Op basis van externe gegevens over populatie (bv. CBS, administratie) bepaal je Fe, de
verwachte frequentie
, • Theoretische verwachting: gelijkmatige (uniforme) verdeling
• Fo is geobserveerde frequentie
• Fe is verwachte frequentie; uniform: overal gelijke aantallen
• H0: Verdeling in steekproef = verdeling in populatie
• H1: Verdeling in steekproef ≠ verdeling in populatie
• Toets met een a van .30 (!), normaal a van 0.05
• c2 (2, N = 80) = 0.77; p = .68, vrijheidsgraden = aantal categorieen
-1
• Statistische conclusie: (a = .30) p > a, H0 niet verwerpen
• Inhoudelijke conclusie: steekproef is representatief voor populatie
Output SPSS
• Aansturing
• Menu Analyze Non-parametric Tests Legacy Dialogs Chi-
Square (toetsingsgrootheid voor categoriele variabelen)
significant bij waarde van 3.84
• of met meer stappen: Menu Analyze Non-parametric Tests
One Sample etc.)
• Zie opdracht 1 voor meer toelichting
Waarom van 0.30 bij representativiteit?
• Relatie tussen soorten statistische fouten type I fout (a) en type II
fout (b): indien a ↑ dan b ↓ (en v.v.)
• H0: verdeling steekproef = verdeling populatie
, • H1: verdeling steekproef ≠ verdeling populatie (minimaal één groep wijkt af)
• Niet te snel besluiten tot representativiteit: vermijden van type II fout belangrijker dan
van type I fout
• Daarom a verhogen om lagere b te krijgen
• De power, onderscheidingsvermogen, de kans om een daadwerkelijk bestaand verschil
of correlatie te kunnen traceren, vaak .80
Reflectie
Validiteit en betrouwbaarheid?
Representativiteit :
Argumentatie op basis van het Toulmin model.
Gebaseerd op drie vragen:
(1) Wat is je standpunt (stelling, bewering, claim)?
(2) Op welke gegevens* baseer je dit standpunt?
(3) Waarom is je standpunt juist op basis van genoemde gegevens?
* Feiten, mondelinge informatie, algemene kennis en algemene regels
Data cleaning/preparatie
§ Checken of alle gegevens in de datamatrix kloppen
§ Codes
§ Routings worden andere vragen gesteld aan de verschillende groepen
§ Response set antwoord geven op automatische piloot?
§ Missing data analyse
Datamatrix
§ Codes (afbeelding 1)
§ Routings (afbeelding 2, 3 & 4)
§ Response set (afbeelding 5 & 6)
System missing value = de
respondent heeft niks
ingevuld.
Hoorcollege 1 gegevensverzameling
De beslissingen en argumentatie wordt beantwoord met behulp van het Stephen Toulmins
argumentatiemodel. De conclusie is een keuze, besluit of opvatting. De gegevens bestaan uit
informatie, statistische resultaten, type onderzoeksvraag, meetniveaus of resultaten uit
eerder onderzoek. De rechtvaardiging gaat via regels en principes, dit ligt tussen de
gegevens en de conclusie.
Kwaliteit van onderzoek wordt bepaald met de volgende drie aspecten:
Validiteit
De mate waarin de gemeten kenmerken daadwerkelijk de kenmerken zijn van de
onderzochte objecten (systematische of random error).
Betrouwbaarheid
De mate waarin de metingen van de kenmerken dezelfde resultaten oplevert als het
onderzoek onder dezelfde omstandigheden zou worden herhaald.
Bruikbaarheid
De mate waarin de onderzoeksresultaten goed aansluiten bij het probleem van de
opdrachtgever, ofwel die daadwerkelijk kunnen bijdragen aan de oplossing van een
praktijkprobleem.
De empirische cyclus
Kwantitatieve data
Onderzoekstrategieën:
Survey beschrijvende en explorerende vragen
Experiment je probeert een effect te verklaren, toetsende vragen
Dataverzameling
Vragenlijsten
Observaties
Inhoudsanalyse bestaande documentatie gebruiken voor gegevensverzameling
Data
Primair: specifiek voor het onderzoek zelf
Secundair: verzameld voor een ander doel
,Vragenlijst
Vraagtypen
Open/ gesloten vragen
Single/multiple respons
Dichotome vragen (wel of niet/ juist of onjuist/ 0 of 1 vragen)
Schaal items telkens dezelfde antwoordmogelijkheden (bijvoorbeeld Likert)
Formulering van vragen
Gebruik gewone woorden
Gebruik eenduidige woorden
Vermijd impliciete veronderstellingen/assumpties niet vanuit gaan dat een
bepaald iets gewoon is onder iedereen.
Vermijd generalisaties en schattingen
Gebruik positieve en negatieve stellingen
Steekproeven
Begrippen: Bijvoorbeeld:
• populatie • alle studenten in NL
• operationele populatie • alle studenten in Nijmegen en Utrecht
• steekproefkader • studentenadministraties
• steekproef • 600 getrokken studenten
• gerealiseerde steekproef • 500 overgebleven
Technieken:
• Op toevalsbasis (aselect): representativiteit mag worden verondersteld; kans
steekproeven
• Niet op toevalsbasis: representativiteit mag niet worden verondersteld; niet-kans
steekproeven
Ethische aspecten
Toestemming (informed consent) mag je observeren/interview publiekelijk stellen
Vertrouwelijkheid en privacy
En zaken veranderen (meegaan met de tijd)
Toets op representativiteit
• Representativiteit: mate waarin de steekproef op relevante kenmerken een goede
afspiegeling vormt van de populatie
• Representativiteitstoets voor één variabele
• Aantal klanten bij drie winkels (ontleend aan De Vocht, 2006)
• Op basis van externe gegevens over populatie (bv. CBS, administratie) bepaal je Fe, de
verwachte frequentie
, • Theoretische verwachting: gelijkmatige (uniforme) verdeling
• Fo is geobserveerde frequentie
• Fe is verwachte frequentie; uniform: overal gelijke aantallen
• H0: Verdeling in steekproef = verdeling in populatie
• H1: Verdeling in steekproef ≠ verdeling in populatie
• Toets met een a van .30 (!), normaal a van 0.05
• c2 (2, N = 80) = 0.77; p = .68, vrijheidsgraden = aantal categorieen
-1
• Statistische conclusie: (a = .30) p > a, H0 niet verwerpen
• Inhoudelijke conclusie: steekproef is representatief voor populatie
Output SPSS
• Aansturing
• Menu Analyze Non-parametric Tests Legacy Dialogs Chi-
Square (toetsingsgrootheid voor categoriele variabelen)
significant bij waarde van 3.84
• of met meer stappen: Menu Analyze Non-parametric Tests
One Sample etc.)
• Zie opdracht 1 voor meer toelichting
Waarom van 0.30 bij representativiteit?
• Relatie tussen soorten statistische fouten type I fout (a) en type II
fout (b): indien a ↑ dan b ↓ (en v.v.)
• H0: verdeling steekproef = verdeling populatie
, • H1: verdeling steekproef ≠ verdeling populatie (minimaal één groep wijkt af)
• Niet te snel besluiten tot representativiteit: vermijden van type II fout belangrijker dan
van type I fout
• Daarom a verhogen om lagere b te krijgen
• De power, onderscheidingsvermogen, de kans om een daadwerkelijk bestaand verschil
of correlatie te kunnen traceren, vaak .80
Reflectie
Validiteit en betrouwbaarheid?
Representativiteit :
Argumentatie op basis van het Toulmin model.
Gebaseerd op drie vragen:
(1) Wat is je standpunt (stelling, bewering, claim)?
(2) Op welke gegevens* baseer je dit standpunt?
(3) Waarom is je standpunt juist op basis van genoemde gegevens?
* Feiten, mondelinge informatie, algemene kennis en algemene regels
Data cleaning/preparatie
§ Checken of alle gegevens in de datamatrix kloppen
§ Codes
§ Routings worden andere vragen gesteld aan de verschillende groepen
§ Response set antwoord geven op automatische piloot?
§ Missing data analyse
Datamatrix
§ Codes (afbeelding 1)
§ Routings (afbeelding 2, 3 & 4)
§ Response set (afbeelding 5 & 6)
System missing value = de
respondent heeft niks
ingevuld.
