MTO-D: constructie en analyse van vragenlijsten
rms
Hoorcollege 1: introductie
Meten in de sociale wetenschappen: vaak zijn we geïnteresseerd in menselijke eigenschappen
(houding, waarde, interesse, mening, persoonlijkheid) maar deze zijn niet direct waarneembaar
(=latent). We moeten vaak een benadering maken. We hebben (meet)instrumenten nodig om
(verschillen in) deze eigenschappen zichtbaar te maken, zoals vragenlijsten. Deze vragenlijst moet
wel aan een aantal kwaliteitscriteria voldoen zodat de meting betrouwbaar en valide is.
Vragenlijst =
- a written set of questions (aantal items) that are given to people in order to collect
facts/opinions about something.
- Typisch gedrag. Vragen die zonder specifieke context te beantwoorden zijn, over het
algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context, maar
meer algemeen gedrag of meningen.
Tegenovergestelde typical performance = maximum performance: onderzoeken wat iemand
kent/kan (tentamen, intelligentie).
- Er zijn geen goed-fout antwoorden.
- Probeert één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die heeft
- Doel = we zijn geïnteresseerd in relaties tussen fenomenen en de mogelijke verklaringen
daarvoor (theorieën).
- Een benadering van iets wat wij nooit 100% foutvrij kunnen meten. Daarom moeten deze
van goede kwaliteit zijn. Betrouwbaar en valide.
Kenmerken vragenlijst =
- Inhoud van de vragenlijst:
a) Gedrag: wat doen mensen?
b) Overtuigingen: wat is juist/onjuist volgens persoon, inschattingen over situaties?
c) Meningen/waarden/attitudes: wat vindt iemand wenselijk?
d) Demografische informatie: kenmerken respondent (leeftijd/inkomen)
, - Afname van vragenlijsten
a) Met of zonder (self administered) interviewer
b) Gebruik van technologie: telefoon, computer, internet, pen papier (CATI, PAPI)
c) Combinatie bovenstaande methode
- Type vragen
a) Open
b) Gesloten
Voor- en nadelen van vragenlijsten
- Snel + efficiënte manier om data te verzamen
- Goedkoop (vooral als het digitaal is)
- Geschikt voor onderzoek in grote steekproeven
- Lage respons (vooral vragenlijst via e-mail, of alleen online)
- Antwoorden geven eventueel vertekend beeld van werkelijkheid (sociaal wenselijk,
satisficing)
Item = stelling/vraag + antwoordalternatieven.
Schaal = een samenhangende (vaste) set van items die een bepaalde eigenschap meet.
Voorbeeld: Schaal 1 = tevredenheid met de sfeer op het werk; (item 1-10 van de vragenlijst).
Test (toets)
- Meet kennis, kunde, vaardigheid (prestaties)
- Vaak vragen met antwoorden die (gedeeltelijk) juist/onjuist zijn
- Doel = vaststellen van iemands maximale vaardigheid
Betrouwbaarheid = haalbaarheid/precisie waarmee wij meten, vinden we dezelfde resultaten als we
de test/vragenlijst opnieuw zouden afnemen onder dezelfde omstandigheden. Consistent meten van
een construct. Er zijn altijd meetfouten (nooit exact dezelfde resultaten). Hoe kleiner de meetfouten,
hoe nauwkeuriger (preciezer) onze meting.
- Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit. Wel
betrouwbaar is misschien valide, niet betrouwbaar is zeker niet valide.
Validiteit = zijn de verschillen in de scores op de vragenlijst ook echt gebaseerd op verschillen in het
construct waar wij geïnteresseerd zijn? Meet het wat je wil meten. Structuur van een construct (1
dimensie, of meerdere), welke items meten wat?
Enquête (survey) = onderzoeksmethode/techniek voor het verzamen van informatie bij grote
groepen mensen.
- Gestructureerd en systematische dataset (variabele x case data grid)
- Proberen te achterhalen wat de onderliggende oorzaak is voor een fenomeen
Constructen (latente constructen) = niet direct observeerbare concepten, niet direct meetbaar.
Latente variabelen. Een soort samenvatting van karakteristieken, gedrag of attituden die iets
gemeenschappelijk hebben (intelligentie, sociaal kapitaal..). Ontwikkelen van een eigen nominale
definitie.
- Oplossing: indirect meten m.b.v. vragenlijst. Hiervoor moeten we het construct eerst goed
operationaliseren.
, Onderzoek in de sociale wetenschappen is gericht op kennis verkrijgen over de relaties tussen
constructen en het zoeken naar verklaringsmechanismen (theorieën).
Operationaliseren
- Heuristische benadering: van abstract tot concreet. Je begint met een algemeen idee, daarna
een vragenlijst (concrete indicatoren), daarna de scores (operationele definitie, meetbaar).
- Iets dat niet (direct) meetbaar is, meetbaar maken
Construeren van een vragenlijst/schaal: op een systematische manier, hier zijn verschillende
ontwerpmethodes voor.
A) Constructmethode
- Theoretisch kader is de start, vanuit hier items afleiden
- Deductief
- Specificatie van een nomologisch netwerk: het construct wordt uitgebreid bestudeerd, een
precieze definitie wordt bedacht met sub-dimensies en sub-constructen, gerelateerde en
niet gerelateerde constructen worden gedefinieerd.
- Homogene set van items die het begrip dekken, lijken op elkaar
- Veel aandacht voor convergente (hangen de items van dezelfde schaal samen?) en
divergente (meten items van een andere schaal ook echt iets anders) validiteit. Hangen de
items samen schalen die theoretisch vergelijkbare constructen meten en is er geen
samenhang met items/schalen die andere constructen beogen te meten, past de schaal dus
binnen het veronderstelde nomologisch netwerk.
B) Rationele methode (vaak in psychologie)
- Kennis van experts wordt gebruikt om het construct te definiëren en items te bedenken
(geen theoretisch kader)
- Deductief
- Item formulering & evaluatie o.b.v. beschrijvingen van experts
- Hoge face validiteit (indruksvaliditeit) je weet dat het klopt, je ziet de stelling en je weet
dat het een goed item is voor de vragenlijst (VB: ik ben depressief, als je daarop antwoord
helemaal mee eens dan weet je dat).
- Persoonlijke evaluaties
C) Prototypische methode
- Inductief, geen inhoudsanalyse van het construct. Theoretisch van aard maar methode
analyseert niet de inhoud van construct.
- Heuristisch, de meest centrale/kenmerkende elementen van het construct
- Act nomination voor item formulering = karakteristieken genoemd door respondenten (vaak
maar niet per se experts) beoordeling van deze items (hoe kenmerkend zijn deze voor het
construct) vervolgens door experts.
- Persoonlijke evaluaties.
- Pototypicality ratings: op een schaal wordt beoordeeld hoe representatief, typisch,
kenmerken voor construct zijn
- Handelingsfrequentiebenadering persoonlijkheid constructies worden gerepresenteerd
door gedragsreeksen (handelingen); sommige handelingen worden beschouwd als meer
prototypisch voor het construct dan andere.
- Systematisch, uitgebreide methode, maakt gebruik van gestandaardiseerde evaluaties en
grote steekproef.
rms
Hoorcollege 1: introductie
Meten in de sociale wetenschappen: vaak zijn we geïnteresseerd in menselijke eigenschappen
(houding, waarde, interesse, mening, persoonlijkheid) maar deze zijn niet direct waarneembaar
(=latent). We moeten vaak een benadering maken. We hebben (meet)instrumenten nodig om
(verschillen in) deze eigenschappen zichtbaar te maken, zoals vragenlijsten. Deze vragenlijst moet
wel aan een aantal kwaliteitscriteria voldoen zodat de meting betrouwbaar en valide is.
Vragenlijst =
- a written set of questions (aantal items) that are given to people in order to collect
facts/opinions about something.
- Typisch gedrag. Vragen die zonder specifieke context te beantwoorden zijn, over het
algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context, maar
meer algemeen gedrag of meningen.
Tegenovergestelde typical performance = maximum performance: onderzoeken wat iemand
kent/kan (tentamen, intelligentie).
- Er zijn geen goed-fout antwoorden.
- Probeert één eigenschap te isoleren, en daarvan te zeggen in welke mate iemand die heeft
- Doel = we zijn geïnteresseerd in relaties tussen fenomenen en de mogelijke verklaringen
daarvoor (theorieën).
- Een benadering van iets wat wij nooit 100% foutvrij kunnen meten. Daarom moeten deze
van goede kwaliteit zijn. Betrouwbaar en valide.
Kenmerken vragenlijst =
- Inhoud van de vragenlijst:
a) Gedrag: wat doen mensen?
b) Overtuigingen: wat is juist/onjuist volgens persoon, inschattingen over situaties?
c) Meningen/waarden/attitudes: wat vindt iemand wenselijk?
d) Demografische informatie: kenmerken respondent (leeftijd/inkomen)
, - Afname van vragenlijsten
a) Met of zonder (self administered) interviewer
b) Gebruik van technologie: telefoon, computer, internet, pen papier (CATI, PAPI)
c) Combinatie bovenstaande methode
- Type vragen
a) Open
b) Gesloten
Voor- en nadelen van vragenlijsten
- Snel + efficiënte manier om data te verzamen
- Goedkoop (vooral als het digitaal is)
- Geschikt voor onderzoek in grote steekproeven
- Lage respons (vooral vragenlijst via e-mail, of alleen online)
- Antwoorden geven eventueel vertekend beeld van werkelijkheid (sociaal wenselijk,
satisficing)
Item = stelling/vraag + antwoordalternatieven.
Schaal = een samenhangende (vaste) set van items die een bepaalde eigenschap meet.
Voorbeeld: Schaal 1 = tevredenheid met de sfeer op het werk; (item 1-10 van de vragenlijst).
Test (toets)
- Meet kennis, kunde, vaardigheid (prestaties)
- Vaak vragen met antwoorden die (gedeeltelijk) juist/onjuist zijn
- Doel = vaststellen van iemands maximale vaardigheid
Betrouwbaarheid = haalbaarheid/precisie waarmee wij meten, vinden we dezelfde resultaten als we
de test/vragenlijst opnieuw zouden afnemen onder dezelfde omstandigheden. Consistent meten van
een construct. Er zijn altijd meetfouten (nooit exact dezelfde resultaten). Hoe kleiner de meetfouten,
hoe nauwkeuriger (preciezer) onze meting.
- Betrouwbaarheid is een noodzakelijke, maar niet voldoende voorwaarde voor validiteit. Wel
betrouwbaar is misschien valide, niet betrouwbaar is zeker niet valide.
Validiteit = zijn de verschillen in de scores op de vragenlijst ook echt gebaseerd op verschillen in het
construct waar wij geïnteresseerd zijn? Meet het wat je wil meten. Structuur van een construct (1
dimensie, of meerdere), welke items meten wat?
Enquête (survey) = onderzoeksmethode/techniek voor het verzamen van informatie bij grote
groepen mensen.
- Gestructureerd en systematische dataset (variabele x case data grid)
- Proberen te achterhalen wat de onderliggende oorzaak is voor een fenomeen
Constructen (latente constructen) = niet direct observeerbare concepten, niet direct meetbaar.
Latente variabelen. Een soort samenvatting van karakteristieken, gedrag of attituden die iets
gemeenschappelijk hebben (intelligentie, sociaal kapitaal..). Ontwikkelen van een eigen nominale
definitie.
- Oplossing: indirect meten m.b.v. vragenlijst. Hiervoor moeten we het construct eerst goed
operationaliseren.
, Onderzoek in de sociale wetenschappen is gericht op kennis verkrijgen over de relaties tussen
constructen en het zoeken naar verklaringsmechanismen (theorieën).
Operationaliseren
- Heuristische benadering: van abstract tot concreet. Je begint met een algemeen idee, daarna
een vragenlijst (concrete indicatoren), daarna de scores (operationele definitie, meetbaar).
- Iets dat niet (direct) meetbaar is, meetbaar maken
Construeren van een vragenlijst/schaal: op een systematische manier, hier zijn verschillende
ontwerpmethodes voor.
A) Constructmethode
- Theoretisch kader is de start, vanuit hier items afleiden
- Deductief
- Specificatie van een nomologisch netwerk: het construct wordt uitgebreid bestudeerd, een
precieze definitie wordt bedacht met sub-dimensies en sub-constructen, gerelateerde en
niet gerelateerde constructen worden gedefinieerd.
- Homogene set van items die het begrip dekken, lijken op elkaar
- Veel aandacht voor convergente (hangen de items van dezelfde schaal samen?) en
divergente (meten items van een andere schaal ook echt iets anders) validiteit. Hangen de
items samen schalen die theoretisch vergelijkbare constructen meten en is er geen
samenhang met items/schalen die andere constructen beogen te meten, past de schaal dus
binnen het veronderstelde nomologisch netwerk.
B) Rationele methode (vaak in psychologie)
- Kennis van experts wordt gebruikt om het construct te definiëren en items te bedenken
(geen theoretisch kader)
- Deductief
- Item formulering & evaluatie o.b.v. beschrijvingen van experts
- Hoge face validiteit (indruksvaliditeit) je weet dat het klopt, je ziet de stelling en je weet
dat het een goed item is voor de vragenlijst (VB: ik ben depressief, als je daarop antwoord
helemaal mee eens dan weet je dat).
- Persoonlijke evaluaties
C) Prototypische methode
- Inductief, geen inhoudsanalyse van het construct. Theoretisch van aard maar methode
analyseert niet de inhoud van construct.
- Heuristisch, de meest centrale/kenmerkende elementen van het construct
- Act nomination voor item formulering = karakteristieken genoemd door respondenten (vaak
maar niet per se experts) beoordeling van deze items (hoe kenmerkend zijn deze voor het
construct) vervolgens door experts.
- Persoonlijke evaluaties.
- Pototypicality ratings: op een schaal wordt beoordeeld hoe representatief, typisch,
kenmerken voor construct zijn
- Handelingsfrequentiebenadering persoonlijkheid constructies worden gerepresenteerd
door gedragsreeksen (handelingen); sommige handelingen worden beschouwd als meer
prototypisch voor het construct dan andere.
- Systematisch, uitgebreide methode, maakt gebruik van gestandaardiseerde evaluaties en
grote steekproef.
