HC1 MTO-D CONSTRUCTIE EN ANALYSE VAN VRAGENLIJSTEN
Vragenlijsten worden gebruikt door...
De regering
- Om de gezondheid van de bevolking of de economische groeit te meten
- Om belangrijke beslissingen te nemen betreffende haar beleid
Organisaties
- Om het loonverschil tussen mannen en vrouwen te meten (SCP, “emancipatiemotor 2018”)
- Werkveiligheid te meten (TNO)
Bedrijven
- Om geschikte kandidaten te selecteren voor en baan
- Om de “usability” van een product te bepalen (bijv. Philips)
- De tevredenheid van hun klanten of werknemer te meten (bol.com)
- Voor marketingdoeleinden
Sociale wetenschappers
- Voorspellen kiesgedrag en politieke voorkeuren, meten kwaliteit van leven, meten van
persoonlijkheid en/of gedrag
Definitie van een vragenlijst
- Merriam Webster:
o A written set of questions that are given to people in order to collect facts or opinions
about something
Set of questions Aantal items
- Typisch gedrag vaak vragen die zonder specifieke context te beantwoorden zijn (dus over
het algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context, maar
meer algemeen gedrag of mening van iemand.
- Een van de meest gebruikte instrumenten voor het verzamelen van data in de sociale
wetenschappen
Over het algemeen meten de meeste vragenlijsten typisch gedrag, wij willen dus weten wat iemand
in het algemeen denkt of doet en niet zo zeer in de context. Dat geldt voor de meeste vragenlijsten.
Als een onderzoeker juist geïnteresseerd is in de context zal de vragenlijst daarop worden aangepast.
Wat is een item precies?
Definitie vragenlijst/test item Stelling/vraag + Antwoordalternatieven
Wat doet een vragenlijst (of een test) precies?
Probeert NIET om de mens in al zijn facetten en complexiteit te vangen.
- Let op(!) Vragenlijst en een test zijn verschillende dingen.
Een vragenlijst probeert één eigenschap te isoleren en daarvan te zeggen in welke mate iemand die
heeft (IQ, tevredenheid, etc.)
- Een niet volledige beschrijving van de realiteit, maar dit met opzet.
o Kijken niet naar het hele karakter, maar bijvoorbeeld één eigenschap. Ook vanwege
pragmatische redenen, we moeten heel duidelijk omschrijven wat we meten. (De
operationalisatie)
,Vragenlijst Schalen
Een vragenlijst probeert een eigenschap te isoleren en daarvan te zeggen in welke mate iemand die
heeft (Bijv. IQ, werknemerstevredenheid, kwaliteit van leven)
- Vaak gebeurt dit doormiddel van verschillende “Schalen”
o Schaal Een aantal items dat samen één bepaald aspect van die eigenschap meet.
1 Schaal, meerdere items, 1 aspect van een eigenschap.
- Bijvoorbeeld: Vragenlijst om werknemerstevredenheid te meten:
o Schaal 1: Tevredenheid met de sfeer op het werk (item 1-10 v.d. vragenlijst)
o Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
Eigenschap (construct) is hier dus werknemerstevredenheid, maar het bestaat uit twee schalen
(Sfeer of het werk en inhoudelijke taken).
Bijvoorbeeld
Mensen hebben ‘in het echt’ (als wij dit zouden kunnen meten) een bepaalde ordening op een
construct. Ik wil een test maken met scores die op eenzelfde manier geordend zijn.
Meetinstrument om IQ te meten is in dit geval dus een intelligence test, een vragenlijst.
Wat hebben we eraan?
Uiteindelijk zijn wij in een sociaal wetenschappelijk onderzoek geïnteresseerd in het beantwoorden
van onderzoeksvragen en het toetsen van hypotheses.
- Bijvoorbeeld:
o “Ignorance is bliss”
Intelligence mensen zijn vaker depressief.
Ignorance is bliss
- Zijn intelligentere mensen vaker depressief?
- Hoe meten wij intelligentie, hoe depressie? Beide zijn niet direct observeerbaar, wij kunnen
immers niet gewoon een meetlint naast iemands brein houden.
- Constructen die wij niet direct kunnen observeren moeten wij operationaliseren en
meetbaar maken COLLEGE 2
o Voor het tweede deel (het meten) kunnen wij een vragenlijst gebruiken.
,Ignorance is bliss: voorbeeld vragenlijstonderzoek
Hypothese
- Intelligente mensen zijn vaker depressief
Dit kunnen we toetsen door te kijken naar het verband tussen intelligentie en depressie predictie
- Kunnen we voorspellen hoe depressief iemand is a.d.h.v. een IQ test.
o “Hoe hoger iemands IQ is, des te meer depressie symptomen heeft hij of zij”
Meten van intelligentie en depressie:
Test / Vragenlijst
DSM-V Handboek die psychiaters gebruiken om diagnose te stellen (e.g. geeft aan welke
symptomen bij welke mentale ziekte horen)
Niet zo moeilijk toch?
Dus wat we nodig hebben is:
- Een steekproef
- Een manier om intelligentie en depressie te meten
Meten in de sociale wetenschappen
- Het meten van fysieke eigenschappen zoals bijvoorbeeld de lengte van iemand is makkelijk:
o Als ik en iemand van jullie mijn lengte meet, dan zullen wij ongeveer (op enkel mm
na) tot hetzelfde resultaat komen; oftewel er is weinig meetfout.
- Waarom? De eigenschap is direct te observeren.
- De sociale wetenschappen zijn echter vooral geïnteresseerd in eigenschappen die niet direct
observeerbaar zijn
o Bijv. de intelligentie van een potentiële werknemer (HR) of de kwaliteit van leven in
verschillende landen (sociologie) of de werkcultuur in verschillende organisaties
(OW)
- In de technische (exacte) wetenschappen kunnen we vaak iets direct testen (bijv. kwaliteit
van een meetinstrument dat de hoeveelheid water in een bak meet waarbij wij weten wat de
echte hoeveelheid is)
- In de sociale wetenschappen is er over het algemeen geen ‘echte’ waarde, maar moeten we
vaak een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe geschikt
een potentiële werknemer echt is voordat hij/zij nog niet aan het werk is)
Vragenlijsten Dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij kunnen
meten.
- Alsnog worden vaak belangrijke beslissingen gemaakt op basis van vragenlijsten! (promotie
van werknemers, voortzetten therapie, testen dyslectische kinderen)
Daarom is het des te belangrijker dat deze van goede kwaliteit zijn: Betrouwbaar & Valide
, Betrouwbaarheid Meetfout & consitentie
Betrouwbaarheid gaat over de precisie waarmee wij meten.
- Is er veel meetfout?
o Dus, Meten wij consistent? Als Klaas een hoge IQ heeft op basis van test A, dan
verwachten wij dat hij een net zo hoge (vergelijkbare) score haalt op een ander
testmoment.
Vergeleken met exacte wetenschappen waar wij de echte waarde weten
(bijv. meten van de hoeveelheid vloeistof in een bak) blijft dit eigenlijk een
benadering, omdat we het ‘echte’ IQ niet kennen.
Validiteit Meten wat we willen meten + Alle dimensies
Validiteit Zijn de verschillen in de vragenlijst of test ook echt gebaseerd op verschillen in het
construct waarin we geïnteresseerd zijn?
o Meten we wat we willen meten? Of meten we eigenlijk iets heel erg anders.
- Heeft dus iets te maken met of je meet wat je wil meten.
o Ik kan het IQ wel consistent meten, maar als ik wil weten of je intra- of extravert
bent, heb je niks aan IQ data.
- Zijn er meerdere dimensies?
o Iemand die een wiskundig talent heeft, moet wellicht ook een goede leesvaardigheid
hebben als de opgaven nogal tekst-lastig zijn.
Voorbeelden van vragenlijsten
Drie voorbeelden:
1. World Value Survey The WVS consists of nationally representative surveys conducted in
almost 100 countries which contain almost 90 percent of the world’s population, using a
common questionnaire. The WVS is the largest non-commercial cross-national, time series
investigation of human beliefs and values”
Vragenlijsten worden gebruikt door...
De regering
- Om de gezondheid van de bevolking of de economische groeit te meten
- Om belangrijke beslissingen te nemen betreffende haar beleid
Organisaties
- Om het loonverschil tussen mannen en vrouwen te meten (SCP, “emancipatiemotor 2018”)
- Werkveiligheid te meten (TNO)
Bedrijven
- Om geschikte kandidaten te selecteren voor en baan
- Om de “usability” van een product te bepalen (bijv. Philips)
- De tevredenheid van hun klanten of werknemer te meten (bol.com)
- Voor marketingdoeleinden
Sociale wetenschappers
- Voorspellen kiesgedrag en politieke voorkeuren, meten kwaliteit van leven, meten van
persoonlijkheid en/of gedrag
Definitie van een vragenlijst
- Merriam Webster:
o A written set of questions that are given to people in order to collect facts or opinions
about something
Set of questions Aantal items
- Typisch gedrag vaak vragen die zonder specifieke context te beantwoorden zijn (dus over
het algemeen niet hoe gedrag en opinies kunnen veranderen door een andere context, maar
meer algemeen gedrag of mening van iemand.
- Een van de meest gebruikte instrumenten voor het verzamelen van data in de sociale
wetenschappen
Over het algemeen meten de meeste vragenlijsten typisch gedrag, wij willen dus weten wat iemand
in het algemeen denkt of doet en niet zo zeer in de context. Dat geldt voor de meeste vragenlijsten.
Als een onderzoeker juist geïnteresseerd is in de context zal de vragenlijst daarop worden aangepast.
Wat is een item precies?
Definitie vragenlijst/test item Stelling/vraag + Antwoordalternatieven
Wat doet een vragenlijst (of een test) precies?
Probeert NIET om de mens in al zijn facetten en complexiteit te vangen.
- Let op(!) Vragenlijst en een test zijn verschillende dingen.
Een vragenlijst probeert één eigenschap te isoleren en daarvan te zeggen in welke mate iemand die
heeft (IQ, tevredenheid, etc.)
- Een niet volledige beschrijving van de realiteit, maar dit met opzet.
o Kijken niet naar het hele karakter, maar bijvoorbeeld één eigenschap. Ook vanwege
pragmatische redenen, we moeten heel duidelijk omschrijven wat we meten. (De
operationalisatie)
,Vragenlijst Schalen
Een vragenlijst probeert een eigenschap te isoleren en daarvan te zeggen in welke mate iemand die
heeft (Bijv. IQ, werknemerstevredenheid, kwaliteit van leven)
- Vaak gebeurt dit doormiddel van verschillende “Schalen”
o Schaal Een aantal items dat samen één bepaald aspect van die eigenschap meet.
1 Schaal, meerdere items, 1 aspect van een eigenschap.
- Bijvoorbeeld: Vragenlijst om werknemerstevredenheid te meten:
o Schaal 1: Tevredenheid met de sfeer op het werk (item 1-10 v.d. vragenlijst)
o Schaal 2: Tevredenheid met de inhoudelijke taken (item 11-20 v.d. vragenlijst)
Eigenschap (construct) is hier dus werknemerstevredenheid, maar het bestaat uit twee schalen
(Sfeer of het werk en inhoudelijke taken).
Bijvoorbeeld
Mensen hebben ‘in het echt’ (als wij dit zouden kunnen meten) een bepaalde ordening op een
construct. Ik wil een test maken met scores die op eenzelfde manier geordend zijn.
Meetinstrument om IQ te meten is in dit geval dus een intelligence test, een vragenlijst.
Wat hebben we eraan?
Uiteindelijk zijn wij in een sociaal wetenschappelijk onderzoek geïnteresseerd in het beantwoorden
van onderzoeksvragen en het toetsen van hypotheses.
- Bijvoorbeeld:
o “Ignorance is bliss”
Intelligence mensen zijn vaker depressief.
Ignorance is bliss
- Zijn intelligentere mensen vaker depressief?
- Hoe meten wij intelligentie, hoe depressie? Beide zijn niet direct observeerbaar, wij kunnen
immers niet gewoon een meetlint naast iemands brein houden.
- Constructen die wij niet direct kunnen observeren moeten wij operationaliseren en
meetbaar maken COLLEGE 2
o Voor het tweede deel (het meten) kunnen wij een vragenlijst gebruiken.
,Ignorance is bliss: voorbeeld vragenlijstonderzoek
Hypothese
- Intelligente mensen zijn vaker depressief
Dit kunnen we toetsen door te kijken naar het verband tussen intelligentie en depressie predictie
- Kunnen we voorspellen hoe depressief iemand is a.d.h.v. een IQ test.
o “Hoe hoger iemands IQ is, des te meer depressie symptomen heeft hij of zij”
Meten van intelligentie en depressie:
Test / Vragenlijst
DSM-V Handboek die psychiaters gebruiken om diagnose te stellen (e.g. geeft aan welke
symptomen bij welke mentale ziekte horen)
Niet zo moeilijk toch?
Dus wat we nodig hebben is:
- Een steekproef
- Een manier om intelligentie en depressie te meten
Meten in de sociale wetenschappen
- Het meten van fysieke eigenschappen zoals bijvoorbeeld de lengte van iemand is makkelijk:
o Als ik en iemand van jullie mijn lengte meet, dan zullen wij ongeveer (op enkel mm
na) tot hetzelfde resultaat komen; oftewel er is weinig meetfout.
- Waarom? De eigenschap is direct te observeren.
- De sociale wetenschappen zijn echter vooral geïnteresseerd in eigenschappen die niet direct
observeerbaar zijn
o Bijv. de intelligentie van een potentiële werknemer (HR) of de kwaliteit van leven in
verschillende landen (sociologie) of de werkcultuur in verschillende organisaties
(OW)
- In de technische (exacte) wetenschappen kunnen we vaak iets direct testen (bijv. kwaliteit
van een meetinstrument dat de hoeveelheid water in een bak meet waarbij wij weten wat de
echte hoeveelheid is)
- In de sociale wetenschappen is er over het algemeen geen ‘echte’ waarde, maar moeten we
vaak een benadering maken (wij weten niet hoe intelligent iemand echt is, of hoe geschikt
een potentiële werknemer echt is voordat hij/zij nog niet aan het werk is)
Vragenlijsten Dus eigenlijk maar een benadering van iets wat wij nooit 100% foutvrij kunnen
meten.
- Alsnog worden vaak belangrijke beslissingen gemaakt op basis van vragenlijsten! (promotie
van werknemers, voortzetten therapie, testen dyslectische kinderen)
Daarom is het des te belangrijker dat deze van goede kwaliteit zijn: Betrouwbaar & Valide
, Betrouwbaarheid Meetfout & consitentie
Betrouwbaarheid gaat over de precisie waarmee wij meten.
- Is er veel meetfout?
o Dus, Meten wij consistent? Als Klaas een hoge IQ heeft op basis van test A, dan
verwachten wij dat hij een net zo hoge (vergelijkbare) score haalt op een ander
testmoment.
Vergeleken met exacte wetenschappen waar wij de echte waarde weten
(bijv. meten van de hoeveelheid vloeistof in een bak) blijft dit eigenlijk een
benadering, omdat we het ‘echte’ IQ niet kennen.
Validiteit Meten wat we willen meten + Alle dimensies
Validiteit Zijn de verschillen in de vragenlijst of test ook echt gebaseerd op verschillen in het
construct waarin we geïnteresseerd zijn?
o Meten we wat we willen meten? Of meten we eigenlijk iets heel erg anders.
- Heeft dus iets te maken met of je meet wat je wil meten.
o Ik kan het IQ wel consistent meten, maar als ik wil weten of je intra- of extravert
bent, heb je niks aan IQ data.
- Zijn er meerdere dimensies?
o Iemand die een wiskundig talent heeft, moet wellicht ook een goede leesvaardigheid
hebben als de opgaven nogal tekst-lastig zijn.
Voorbeelden van vragenlijsten
Drie voorbeelden:
1. World Value Survey The WVS consists of nationally representative surveys conducted in
almost 100 countries which contain almost 90 percent of the world’s population, using a
common questionnaire. The WVS is the largest non-commercial cross-national, time series
investigation of human beliefs and values”
