Kwalitatieve Onderzoeksmethodologie colleges
College 1 Gegevensverzameling
Beslissingen en argumentatie
Redeneren gaat volgens het Toulmins argumentatiemodel:
- Conclusie: keuze, besluit, opvatting
- Gegevens: informatie, statistische resultaten, type onderzoeksvraag, meetniveaus,
resultaten uit eerder onderzoek
- Rechtvaardiging: regels, principes
Meetniveaus
- Nominaal: naam geven aan iets, geen volgorde provincies
- Ordinaal: rangorde eens, neutraal, oneens
- Interval: rangorde & gelijke intervallen temperatuur
- Ratio: rangorde & gelijke intervallen & natuurlijk nulpunt percentages
Kwantitatieve data
Onderzoeksstrategieën: survey, experiment (effect verklaren)
Dataverzameling: vragenlijsten, observaties, inhoudsanalyse
Data:
- Primair: specifiek voor het onderzoek zelf
- Secundair: verzameld voor een ander doel
Vragenlijst
Vraagtypen:
- Open/gesloten vragen
- Single/multiple respons
- Dichotome vragen (waar/onwaar)
- Schaal items (vb. Likert items)
Vragenlijst: formulering vragen
- Gebruik gewone woorden
- Gebruik eenduidige woorden
- Vermijd impliciete veronderstellingen
- Vermijd generalisaties en schattingen (de gemiddelde Nederlander vindt … wat vindt
u?)
- Gebruik positieve en negatieve stellingen
Secundaire data
= data gebruikt in een onderzoeksproject die origineel werden verzameld met een ander
doel
Soorten:
- Survey: volkstelling (hele populatie raadplegen op 1 moment), longitudinaal (over de
tijd heen een steekproef trekken), ad hoc
- Documenten: tekstueel, non-tekstueel
1
,Voordelen:
- Niet belastend
- Data is makkelijk te verkrijgen
- Relatief goedkoop
- Beschikbaarheid
- Vergroten van inzicht in primaire data
Nadelen:
- Mogelijk niet valide noch betrouwbaar
- Beperkte documentatie je weet niet hoe ze dingen hebben berekent
- Toegang
- Metingen en/of klasse definities matchen niet
- Achterhaald: je hebt niet zoveel aan de data
3 aspecten van kwaliteit onderzoek
- Validiteit - de mate waarin de gemeten kenmerken, daadwerkelijk de kenmerken zijn
van de onderzochte objecten (systematische of random error)
o Interne validiteit: de mate waarin je meet wat je wil meten
o Externe validiteit: de mate waarin je de resultaten mag vertalen naar de
populatie
- Betrouwbaarheid - de mate waarin de metingen van de kenmerken dezelfde
resultaten oplevert, als het onderzoek onder dezelfde omstandigheden zou worden
herhaald
- Bruikbaarheid - de mate waarin de onderzoeksresultaten goed aansluiten bij het
probleem van de opdrachtgever, ofwel die daadwerkelijk kunnen bijdragen aan de
oplossing van een praktijkprobleem
Steekproeven
Begrippen:
- Populatie alle studenten in NL
- Operationele populatie alle studenten in Nijmegen
- Steekproefkader overzicht van alle studenten in Nijmegen
- Steekproef willekeurige selectie van Nijmeegse studenten
- Gerealiseerde steekproef wie van de steekproef wil meedoen
Operationele populatie = het deel van de populatie dat je in het onderzoekt gebruikt
Steekproefkader = waaruit je de steekproef trekt
Technieken:
- Op toevalsbasis (aselect): representativiteit mag worden verondersteld, maar je moet
het nog wel gaan toetsen; kanssteekproef
- Niet op toevalbasis: representativiteit mag niet worden verondersteld
o Convenience steekproef: wat je makkelijk tot je beschikking hebt
o Judgmental sampling: het gaat om bepaalde mensen, anderen uitsluiten
o Quota sampling: je kiest op basis van een quotum
o Snowball sampling: via een persoon andere personen genereren
2
,Ethische aspecten
- Toestemming (informed consent) toestemming vragen aan mensen nadat ze
geïnformeerd zijn over het doel van je onderzoek
- Vertrouwelijkheid en privacy
- Zaken veranderen (vb. wat is je geslacht?)
Representativiteit
Representativiteit - de mate waarin de steekproef op relevante kenmerken een goede
afspiegeling vormt van de populatie
Theoretische verwachting: gelijkmatige (uniforme) verdeling.
Representativiteit – Chi-kwadraat
Chi-kwadraat: gaat na of twee of meer populaties van elkaar verschillen; wijken de
waargenomen aantallen af van de verwachte aantallen
Fo = geobserveerde frequentie
Fe = verwachte frequentie; uniform; overal gelijke aantallen; op basis van externe gegevens
over de populatie (vb. CBS)
Als de verschillen tussen de steekproeven klein zijn, dan lijken ze op de populatie.
Uitkomst = Chi-kwadraat waarde
H0 = verdeling in steekproef = verdeling in populatie
H1 = verdeling in steekproef =niet verdeling in populatie
Toets met een a van .30
X2 (2, N = 80) = 0.77; p = .68
DF = (aantal rijen – 1) x (aantal kolommen – 1)
Statistische conclusie: (a = .30) p > a, H0 niet verwerpen
Inhoudelijke conclusie: de steekproef is representatief voor populatie
Analyze Nonparametric Tests Legacy Dialogs Chi-Square Selecteer de variabele in
de Test Variable List
(Voor variabelen van interval of ratio niveau: Analyze Compare Means One Sample T-
Test)
Representativiteit – Frequentietabel
Hierbij vergelijk je de percentages van de steekproefpopulatie met de percentages van de
werkelijke populatie. Wanneer deze verschillen te groot zijn, is de steekproefpopulatie niet
representatief.
Analyze Descriptive Statistics Frequencies Selecteer de variabele in de Variable(s)
Kijk hoe de verdeling is en of er missing-categorieën zijn
3
, Waarom a van .30 bij representativiteit (externe validiteit)?
- Relatie tussen soorten statistisch fouten type I fout (a) en type II fout (b): indien a
stijgt, dan daalt b
- H0 = verdeling in steekproef = verdeling in populatie
- H1 = verdeling in steekproef =niet verdeling in populatie (minimaal 1 groep wijkt af)
- Niet te snel besluiten tot representativiteit: vermijden van type II fout belangrijker,
dan van type I fout
- Daarom a verhogen om lagere b te krijgen
Type 1 fout = H0 onterecht verwerpen
Type 2 fout = H0 onterecht accepteren
Bij toets op representativiteit Alfa van .30 omdat je niet te snel wil beslissen dat de
steekproef representatief is voor de populatie. Daarom wordt de alfa opgehoogd, om niet te
snel de nulhypothese te verwerpen. Je verwerpt de nulhypothese, als de gevonden
significantie kleiner is dan de drempel (van .30).
Vrijheidsgraden = aantal categorieën –1
Data cleaning/preparatie
Checken of alle gegevens in de datamatrix kloppen:
- Codes: kloppen deze? Is er een code voor een ontbrekende score
- Routings: verschillende mensen, verschillende vragen stellen
- Response set: letten mensen nog op?
o Definitie: respondenten die een vragenlijst invullen zonder nauwkeurig de
vraag te lezen. Ze antwoorden volgens een bepaald patroon. Nadelig voor de
validiteit en de generaliseerbaarheid
Missing data-analyse: zijn respondenten die niet meedoen heel anders dan mensen die wel
meedoen?
Data cleaning: missing data
Er ontbreken scores op variabelen
Problemen:
- Aantal respondenten bij analysis (power = de kans dat je een daadwerkelijk bestaand
verschil/correlatie/samenhang, met je toetsing kunt traceren, tussen 0 en 1, 0.80 is
voldoende) bij minder respondenten, gaat de power naar beneden
- Type respondenten bij analyses (validiteit), gekoppeld aan selectiviteit mensen
antwoorden niet, vanwege de inhoud van vragen
Stappen:
(1) Type missing data vaststellen
(2) Omvang van de missing data vaststellen
(3) Nagaan of de missing data random zijn
(4) Substitutiemethode kiezen en uitvoeren
Missing data: type
Negeerbaar:
- Non-respons/steekproef
- Routings
4
College 1 Gegevensverzameling
Beslissingen en argumentatie
Redeneren gaat volgens het Toulmins argumentatiemodel:
- Conclusie: keuze, besluit, opvatting
- Gegevens: informatie, statistische resultaten, type onderzoeksvraag, meetniveaus,
resultaten uit eerder onderzoek
- Rechtvaardiging: regels, principes
Meetniveaus
- Nominaal: naam geven aan iets, geen volgorde provincies
- Ordinaal: rangorde eens, neutraal, oneens
- Interval: rangorde & gelijke intervallen temperatuur
- Ratio: rangorde & gelijke intervallen & natuurlijk nulpunt percentages
Kwantitatieve data
Onderzoeksstrategieën: survey, experiment (effect verklaren)
Dataverzameling: vragenlijsten, observaties, inhoudsanalyse
Data:
- Primair: specifiek voor het onderzoek zelf
- Secundair: verzameld voor een ander doel
Vragenlijst
Vraagtypen:
- Open/gesloten vragen
- Single/multiple respons
- Dichotome vragen (waar/onwaar)
- Schaal items (vb. Likert items)
Vragenlijst: formulering vragen
- Gebruik gewone woorden
- Gebruik eenduidige woorden
- Vermijd impliciete veronderstellingen
- Vermijd generalisaties en schattingen (de gemiddelde Nederlander vindt … wat vindt
u?)
- Gebruik positieve en negatieve stellingen
Secundaire data
= data gebruikt in een onderzoeksproject die origineel werden verzameld met een ander
doel
Soorten:
- Survey: volkstelling (hele populatie raadplegen op 1 moment), longitudinaal (over de
tijd heen een steekproef trekken), ad hoc
- Documenten: tekstueel, non-tekstueel
1
,Voordelen:
- Niet belastend
- Data is makkelijk te verkrijgen
- Relatief goedkoop
- Beschikbaarheid
- Vergroten van inzicht in primaire data
Nadelen:
- Mogelijk niet valide noch betrouwbaar
- Beperkte documentatie je weet niet hoe ze dingen hebben berekent
- Toegang
- Metingen en/of klasse definities matchen niet
- Achterhaald: je hebt niet zoveel aan de data
3 aspecten van kwaliteit onderzoek
- Validiteit - de mate waarin de gemeten kenmerken, daadwerkelijk de kenmerken zijn
van de onderzochte objecten (systematische of random error)
o Interne validiteit: de mate waarin je meet wat je wil meten
o Externe validiteit: de mate waarin je de resultaten mag vertalen naar de
populatie
- Betrouwbaarheid - de mate waarin de metingen van de kenmerken dezelfde
resultaten oplevert, als het onderzoek onder dezelfde omstandigheden zou worden
herhaald
- Bruikbaarheid - de mate waarin de onderzoeksresultaten goed aansluiten bij het
probleem van de opdrachtgever, ofwel die daadwerkelijk kunnen bijdragen aan de
oplossing van een praktijkprobleem
Steekproeven
Begrippen:
- Populatie alle studenten in NL
- Operationele populatie alle studenten in Nijmegen
- Steekproefkader overzicht van alle studenten in Nijmegen
- Steekproef willekeurige selectie van Nijmeegse studenten
- Gerealiseerde steekproef wie van de steekproef wil meedoen
Operationele populatie = het deel van de populatie dat je in het onderzoekt gebruikt
Steekproefkader = waaruit je de steekproef trekt
Technieken:
- Op toevalsbasis (aselect): representativiteit mag worden verondersteld, maar je moet
het nog wel gaan toetsen; kanssteekproef
- Niet op toevalbasis: representativiteit mag niet worden verondersteld
o Convenience steekproef: wat je makkelijk tot je beschikking hebt
o Judgmental sampling: het gaat om bepaalde mensen, anderen uitsluiten
o Quota sampling: je kiest op basis van een quotum
o Snowball sampling: via een persoon andere personen genereren
2
,Ethische aspecten
- Toestemming (informed consent) toestemming vragen aan mensen nadat ze
geïnformeerd zijn over het doel van je onderzoek
- Vertrouwelijkheid en privacy
- Zaken veranderen (vb. wat is je geslacht?)
Representativiteit
Representativiteit - de mate waarin de steekproef op relevante kenmerken een goede
afspiegeling vormt van de populatie
Theoretische verwachting: gelijkmatige (uniforme) verdeling.
Representativiteit – Chi-kwadraat
Chi-kwadraat: gaat na of twee of meer populaties van elkaar verschillen; wijken de
waargenomen aantallen af van de verwachte aantallen
Fo = geobserveerde frequentie
Fe = verwachte frequentie; uniform; overal gelijke aantallen; op basis van externe gegevens
over de populatie (vb. CBS)
Als de verschillen tussen de steekproeven klein zijn, dan lijken ze op de populatie.
Uitkomst = Chi-kwadraat waarde
H0 = verdeling in steekproef = verdeling in populatie
H1 = verdeling in steekproef =niet verdeling in populatie
Toets met een a van .30
X2 (2, N = 80) = 0.77; p = .68
DF = (aantal rijen – 1) x (aantal kolommen – 1)
Statistische conclusie: (a = .30) p > a, H0 niet verwerpen
Inhoudelijke conclusie: de steekproef is representatief voor populatie
Analyze Nonparametric Tests Legacy Dialogs Chi-Square Selecteer de variabele in
de Test Variable List
(Voor variabelen van interval of ratio niveau: Analyze Compare Means One Sample T-
Test)
Representativiteit – Frequentietabel
Hierbij vergelijk je de percentages van de steekproefpopulatie met de percentages van de
werkelijke populatie. Wanneer deze verschillen te groot zijn, is de steekproefpopulatie niet
representatief.
Analyze Descriptive Statistics Frequencies Selecteer de variabele in de Variable(s)
Kijk hoe de verdeling is en of er missing-categorieën zijn
3
, Waarom a van .30 bij representativiteit (externe validiteit)?
- Relatie tussen soorten statistisch fouten type I fout (a) en type II fout (b): indien a
stijgt, dan daalt b
- H0 = verdeling in steekproef = verdeling in populatie
- H1 = verdeling in steekproef =niet verdeling in populatie (minimaal 1 groep wijkt af)
- Niet te snel besluiten tot representativiteit: vermijden van type II fout belangrijker,
dan van type I fout
- Daarom a verhogen om lagere b te krijgen
Type 1 fout = H0 onterecht verwerpen
Type 2 fout = H0 onterecht accepteren
Bij toets op representativiteit Alfa van .30 omdat je niet te snel wil beslissen dat de
steekproef representatief is voor de populatie. Daarom wordt de alfa opgehoogd, om niet te
snel de nulhypothese te verwerpen. Je verwerpt de nulhypothese, als de gevonden
significantie kleiner is dan de drempel (van .30).
Vrijheidsgraden = aantal categorieën –1
Data cleaning/preparatie
Checken of alle gegevens in de datamatrix kloppen:
- Codes: kloppen deze? Is er een code voor een ontbrekende score
- Routings: verschillende mensen, verschillende vragen stellen
- Response set: letten mensen nog op?
o Definitie: respondenten die een vragenlijst invullen zonder nauwkeurig de
vraag te lezen. Ze antwoorden volgens een bepaald patroon. Nadelig voor de
validiteit en de generaliseerbaarheid
Missing data-analyse: zijn respondenten die niet meedoen heel anders dan mensen die wel
meedoen?
Data cleaning: missing data
Er ontbreken scores op variabelen
Problemen:
- Aantal respondenten bij analysis (power = de kans dat je een daadwerkelijk bestaand
verschil/correlatie/samenhang, met je toetsing kunt traceren, tussen 0 en 1, 0.80 is
voldoende) bij minder respondenten, gaat de power naar beneden
- Type respondenten bij analyses (validiteit), gekoppeld aan selectiviteit mensen
antwoorden niet, vanwege de inhoud van vragen
Stappen:
(1) Type missing data vaststellen
(2) Omvang van de missing data vaststellen
(3) Nagaan of de missing data random zijn
(4) Substitutiemethode kiezen en uitvoeren
Missing data: type
Negeerbaar:
- Non-respons/steekproef
- Routings
4
