Testtheorie
Week 1
College-aantekeningen
Hoorcollege 1 – 14/09/2017
Testen en vragenlijsten: instrumenten voor het meten van attributen/eigenschappen van mensen.
Uitnodiging voor deelname aan test, toets, …Het internet is bezaaid met ‘tests’. Je kunt het zo gek niet
bedenken of er bestaat een test over. Zo zijn er tests die meten hoe spiritueel je bent. In welke mate je kan
opschieten met je schoonouders. Enzovoort. Dit soort tests dien je met een stevige korrel zout te nemen. Maar
hoe bepaal je nu of een test 'goed' of 'slecht' is?
Gebruik van test en testen is geen onomstreden fenomeen.
Testtheorie:
- Instrumenten voor meting psychische attributen/eigenschappen
o Kennis, vaardigheden (skills)
o Cognitieve capaciteiten (Abilities)
o Geschiktheden (aptitudes)
o Persoonlijkheidstrekken (traits)
o Attituden, opinies
- Wetenschappelijke benadering
o Theorie (klassieke en item-response)
o Constructie
o Gebruik
o Evaluatie
mathematische concepten om ons te helpen vragen te beantwoorden over de kwaliteit van metingen.
Waarvoor dienen tests?
- Onderscheid, vergelijking, beschrijving.
- Maatschappelijk:
o Diagnose stoornissen, leer/onderwijsproblemen
o Schoolvorderingen
o Voorspellen, plaatsing, toelating en selectie.
- Onderzoek
o Vergelijking tussen groepen
o Relatie tussen variabelen
Testconstructie en kwaliteitsbepaling
- Wat willen we meten en waarom?
- Hoe kunnen we dit operationaliseren in vragen, opgaven, uitspraken?
- Wat is de relatie tussen de delen (de vragen/items) en het geheel?
- Kwaliteit (doel, construct, betrouwbare meting)
Historiek van het testen
- Oude voorlopers (voorwet. oordeelsvorming)
o 2000 v. Chr. China – vorderingen dienaren
o Oude Testament – Gideon persoonlijkheid*
o Oude Grieken: karaktereig. (4 temperamenten via verhouding lichaamsvochten)
o ME en NT intelligentie – karaktereigensch. (fysieke kenmerken; astrologie)
- Wetenschappelijke benadering: 20ste eeuw (systematisch bestuderen en empirisch funderen van test)
Gideon’s methode: drinken als een hond volgzaam.
1
,Fysiognomiek en frenologie: Typologie van lichaamsvochten - poging om karaktereigenschappen te vatten. Gaat
terug op het werk van Hypocrates die een theorie had over temperamenten van mensen. Het relatieve belang
van lichaamsvochten.
4 lichaamsvochten:
- slijm: flegmatici: links boven -> futloosheid, luiheid, passiviteit
- bloed: sanquinici: links onder -> vriendelijk gezellig opgewekt elegant verfijnd en hulpvaardig
- gele gal: cholerisch: rechts boven -> dadendrang, ambitie (mannelijke eigenschappen) en veel
mannelijke energie
- zwarte gal: melancholici: rechts boven -> conventioneel, weinig indrukken van buitenaf en erg in
zichzelf gekeerd
Klinische blik van arts bepaalt
Binet: verbale complexe opgaven, via empirisch onderzoek (moeilijkheidsgraad), werken met een totaalscore,
begrip mentale leeftijd.
Terman – Stanford- Binet: formuleren van standaardinstructies, normen gebaseerd op representatieve
steekproef.
Stern: [mentale leeftijd / kalender leeftijd] * 100 = IQ.
Verdere ontwikkelingen:
Door nood aan selectie van personeel voor leger WO testen in stroomversnelling.
- Europa: individuele diagnostiek, later ook collectief (Ned: CITO, COTAN)
- VS: collectief testen (ETS), migrantenprobl.-> niet-verbale testen
- Engeland: tussenpositie, aandacht voor objectief evalueren van schoolprestaties (MC test)
Test – wetenschappelijke benadering: Instrument om inzicht in (psychologische) kenmerken van een individu te
verkrijgen in vergelijking met anderen. Systematisch onderzoek van gedrag met behulp van speciaal
geselecteerde vragen/opgaven
Doel van testen: voorspellen, classificeren, beschrijven – in vergelijking met anderen!
Kenmerken van een test:
- Efficiëntie (het gewenste gedrag direct observeren)
- Standaardisatie (omstandigheden hetzelfde; noodzakelijk voor vergelijkbaarheid)
- Normering (vergelijken met normpositie)
o Voor interpreteren ruwe scores
o Referentiepopulatie
o Normgroep (representatief, aselect)
o Drie typen normen
• verhoudingsnormen
• normen gebaseerd op rangorde (percentielen)
• normen gebaseerd op M en SD
o vaststellen van rangorde: score 9: bij 100 ppn hebben 20 ppn deze score en 66 ppn een score
van hooguit 9 66% heeft score van 9 of lager.
o Verdeling benaderen met normaalverdeling: gemiddelde en SD (check: Kolmogorov-Smirnov
test). Doel: steekproeffouten gladstrijken eigenschap wordt verondersteld normaal verdeeld
te zijn.
o Normering is noodzakelijk bij interpretatie en beoordeling van testprestatie. Ook bij
observatietests en projectieve technieken.
- Objectiviteit (geen subjectieve registratie en interpretatie beoordelaar)
o Beoordelaar onbelangrijk
o Openheid en reproduceerbaarheid van testen en evalueren
o Nagaan door mate van overeenstemming
• Kappa: voorbeeld: 2 categorieën en 2 beoordelaars die 20 leerkrachten beoordelen:
Mate van geobserveerde overeenstemming = PO: (aantal overeenstemming categorie
1 + aantal overeenstemming categorie 2)/totaal.
Overeenstemming op toeval gezien verdelingen beoordelingen: PKans = ((10*10)/20) +
2
, (10*10)/20)) = 0.5
Kappa (K) = (Po-Pkans)/(1-Pkans)
• Meer maten:
Aard beoordelingen Aantal beoordelaars
2 >2
Categorieën Cohens kappa Cohens kappa *
Rangorde Spearman RC Kendalls W
Kendall tau
Afstanden Product-moment
coëfficiënt
- Validiteit (overeenstemming met doel; meet het wat het moet meten en komen verwachtingen over
relaties met andere concepten uit)
Definitie van het begrip test:
- systematische classificatie- of meetprocedure (indelen, inschalen)
- uitspraken doen over empirisch-theoretisch gefundeerde eigenschappen van de onderzochte of
uitspraken over specifiek ‘niet-testgedrag’
- uitgaan van een objectieve verwerking van reacties van de onderzochte in vergelijking tot die van
anderen (objectiviteit en normering)
- op een aantal gestandaardiseerde, zorgvuldig gekozen stimuli (vragen/items).
Overzicht van tests – indelingen van tests
Verschillende mogelijkheden:
- soort testgedrag (prestatieniveau, gedragswijze)
- instructie en afneming (individueel vs groep)
- testvragen (al dan niet cultuur-vrij, open vs mc)
- etc.
Indeling volgens testgedrag:
- Prestatieniveau
o maximale prestatie, J/F – norm
o totaalscore
o (meestal) intelligentie, cogn. capac., kennis
- Gedragswijze
o hoe iemand iets doet, reactie plaatsvindt
o persoonlijkheidstrek, voorkeuren, attitudes, ..
Problemen met tests voor gedragswijze:
3
, - overeenkomst
testgedrag en gedrag
in dagelijks leven.
- Geen objectief
criterium, beoordeling
- Persoonlijkheidstrekke
n zijn minder stabiel,
minder
generaliseerbaar,
minder gelijkmatig van
invloed op gedrag.
Tests voor prestatieniveau
doorstaan vaker kwaliteitstoets
dan tests voor gedragswijze.
Groepsopdracht
1.
1.
Maak een (homogene) test om het prestatieniveau
te meten met 8 items;(selecteer domein en
doelgroep). Elk item heeft minimaal 4
antwoordmogelijkheden
2. Beoordelen van de kwaliteit van items in
pilotstudie (aannemend dat de inhoud aansluit
bij het te bevragen domein). Zijn de vragen en
antwoordalternatieven duidelijk en juist qua
formulering? Worden afleiders ongeveer
evenveel gekozen en niet meer dan het juiste
antwoord?
3. Afnemen bij 40 proefpersonen
4. Invoeren gegevens in SPSS: zie dia.
Literatuur (H(1), H2, H3)
Hoofdstuk 1 Historische ontwikkeling van het testen
Testonderzoek is al oud:
- Oudheid:
o voor 2000vC: Chinese keizer toetst zijn dienaren elke drie jaar op vorderingen
o voor 1000vC: selectie op testscores in boogschieten, muziek, paardrijden, schrijven, rekenen,
sociale etiquette
o Oude Testament: Gideon reduceert zijn leger middels beoordelingen
- Middeleeuwen en nieuwere tijd:
o pogingen om intellectuele of karaktereigenschappen te beschrijven en te meten: fysieke
kenmerken van gelaat (Lombroso), schedel (Gall), lichaam (Huter), of buitenaardse
determinanten (astrologie)
- Begin 20e eeuw: meer wetenschappelijke aandacht
1.1 Periode tot het verschijnen van de Binet-Simon test (intelligentietest)
Psychiatrie in Fr (psychiatrie) en Dld (experimentele psychologie): Verschillen tussen geesteszieken en
verschillende gradaties
o In Frankrijk vooral aandacht voor geestelijke onvolwaardigheid en zwakzinnigheid. Pinel
bevrijdde krankzinnigen, omdat zij niet misdadig maar ziek zijn. Ontstaan van sterke interesse
in geestelijke abnormaliteit.
Esquirol: boek met nadruk op onderscheid tussen krankzinnigheid en zwakzinnigheid.
4
Week 1
College-aantekeningen
Hoorcollege 1 – 14/09/2017
Testen en vragenlijsten: instrumenten voor het meten van attributen/eigenschappen van mensen.
Uitnodiging voor deelname aan test, toets, …Het internet is bezaaid met ‘tests’. Je kunt het zo gek niet
bedenken of er bestaat een test over. Zo zijn er tests die meten hoe spiritueel je bent. In welke mate je kan
opschieten met je schoonouders. Enzovoort. Dit soort tests dien je met een stevige korrel zout te nemen. Maar
hoe bepaal je nu of een test 'goed' of 'slecht' is?
Gebruik van test en testen is geen onomstreden fenomeen.
Testtheorie:
- Instrumenten voor meting psychische attributen/eigenschappen
o Kennis, vaardigheden (skills)
o Cognitieve capaciteiten (Abilities)
o Geschiktheden (aptitudes)
o Persoonlijkheidstrekken (traits)
o Attituden, opinies
- Wetenschappelijke benadering
o Theorie (klassieke en item-response)
o Constructie
o Gebruik
o Evaluatie
mathematische concepten om ons te helpen vragen te beantwoorden over de kwaliteit van metingen.
Waarvoor dienen tests?
- Onderscheid, vergelijking, beschrijving.
- Maatschappelijk:
o Diagnose stoornissen, leer/onderwijsproblemen
o Schoolvorderingen
o Voorspellen, plaatsing, toelating en selectie.
- Onderzoek
o Vergelijking tussen groepen
o Relatie tussen variabelen
Testconstructie en kwaliteitsbepaling
- Wat willen we meten en waarom?
- Hoe kunnen we dit operationaliseren in vragen, opgaven, uitspraken?
- Wat is de relatie tussen de delen (de vragen/items) en het geheel?
- Kwaliteit (doel, construct, betrouwbare meting)
Historiek van het testen
- Oude voorlopers (voorwet. oordeelsvorming)
o 2000 v. Chr. China – vorderingen dienaren
o Oude Testament – Gideon persoonlijkheid*
o Oude Grieken: karaktereig. (4 temperamenten via verhouding lichaamsvochten)
o ME en NT intelligentie – karaktereigensch. (fysieke kenmerken; astrologie)
- Wetenschappelijke benadering: 20ste eeuw (systematisch bestuderen en empirisch funderen van test)
Gideon’s methode: drinken als een hond volgzaam.
1
,Fysiognomiek en frenologie: Typologie van lichaamsvochten - poging om karaktereigenschappen te vatten. Gaat
terug op het werk van Hypocrates die een theorie had over temperamenten van mensen. Het relatieve belang
van lichaamsvochten.
4 lichaamsvochten:
- slijm: flegmatici: links boven -> futloosheid, luiheid, passiviteit
- bloed: sanquinici: links onder -> vriendelijk gezellig opgewekt elegant verfijnd en hulpvaardig
- gele gal: cholerisch: rechts boven -> dadendrang, ambitie (mannelijke eigenschappen) en veel
mannelijke energie
- zwarte gal: melancholici: rechts boven -> conventioneel, weinig indrukken van buitenaf en erg in
zichzelf gekeerd
Klinische blik van arts bepaalt
Binet: verbale complexe opgaven, via empirisch onderzoek (moeilijkheidsgraad), werken met een totaalscore,
begrip mentale leeftijd.
Terman – Stanford- Binet: formuleren van standaardinstructies, normen gebaseerd op representatieve
steekproef.
Stern: [mentale leeftijd / kalender leeftijd] * 100 = IQ.
Verdere ontwikkelingen:
Door nood aan selectie van personeel voor leger WO testen in stroomversnelling.
- Europa: individuele diagnostiek, later ook collectief (Ned: CITO, COTAN)
- VS: collectief testen (ETS), migrantenprobl.-> niet-verbale testen
- Engeland: tussenpositie, aandacht voor objectief evalueren van schoolprestaties (MC test)
Test – wetenschappelijke benadering: Instrument om inzicht in (psychologische) kenmerken van een individu te
verkrijgen in vergelijking met anderen. Systematisch onderzoek van gedrag met behulp van speciaal
geselecteerde vragen/opgaven
Doel van testen: voorspellen, classificeren, beschrijven – in vergelijking met anderen!
Kenmerken van een test:
- Efficiëntie (het gewenste gedrag direct observeren)
- Standaardisatie (omstandigheden hetzelfde; noodzakelijk voor vergelijkbaarheid)
- Normering (vergelijken met normpositie)
o Voor interpreteren ruwe scores
o Referentiepopulatie
o Normgroep (representatief, aselect)
o Drie typen normen
• verhoudingsnormen
• normen gebaseerd op rangorde (percentielen)
• normen gebaseerd op M en SD
o vaststellen van rangorde: score 9: bij 100 ppn hebben 20 ppn deze score en 66 ppn een score
van hooguit 9 66% heeft score van 9 of lager.
o Verdeling benaderen met normaalverdeling: gemiddelde en SD (check: Kolmogorov-Smirnov
test). Doel: steekproeffouten gladstrijken eigenschap wordt verondersteld normaal verdeeld
te zijn.
o Normering is noodzakelijk bij interpretatie en beoordeling van testprestatie. Ook bij
observatietests en projectieve technieken.
- Objectiviteit (geen subjectieve registratie en interpretatie beoordelaar)
o Beoordelaar onbelangrijk
o Openheid en reproduceerbaarheid van testen en evalueren
o Nagaan door mate van overeenstemming
• Kappa: voorbeeld: 2 categorieën en 2 beoordelaars die 20 leerkrachten beoordelen:
Mate van geobserveerde overeenstemming = PO: (aantal overeenstemming categorie
1 + aantal overeenstemming categorie 2)/totaal.
Overeenstemming op toeval gezien verdelingen beoordelingen: PKans = ((10*10)/20) +
2
, (10*10)/20)) = 0.5
Kappa (K) = (Po-Pkans)/(1-Pkans)
• Meer maten:
Aard beoordelingen Aantal beoordelaars
2 >2
Categorieën Cohens kappa Cohens kappa *
Rangorde Spearman RC Kendalls W
Kendall tau
Afstanden Product-moment
coëfficiënt
- Validiteit (overeenstemming met doel; meet het wat het moet meten en komen verwachtingen over
relaties met andere concepten uit)
Definitie van het begrip test:
- systematische classificatie- of meetprocedure (indelen, inschalen)
- uitspraken doen over empirisch-theoretisch gefundeerde eigenschappen van de onderzochte of
uitspraken over specifiek ‘niet-testgedrag’
- uitgaan van een objectieve verwerking van reacties van de onderzochte in vergelijking tot die van
anderen (objectiviteit en normering)
- op een aantal gestandaardiseerde, zorgvuldig gekozen stimuli (vragen/items).
Overzicht van tests – indelingen van tests
Verschillende mogelijkheden:
- soort testgedrag (prestatieniveau, gedragswijze)
- instructie en afneming (individueel vs groep)
- testvragen (al dan niet cultuur-vrij, open vs mc)
- etc.
Indeling volgens testgedrag:
- Prestatieniveau
o maximale prestatie, J/F – norm
o totaalscore
o (meestal) intelligentie, cogn. capac., kennis
- Gedragswijze
o hoe iemand iets doet, reactie plaatsvindt
o persoonlijkheidstrek, voorkeuren, attitudes, ..
Problemen met tests voor gedragswijze:
3
, - overeenkomst
testgedrag en gedrag
in dagelijks leven.
- Geen objectief
criterium, beoordeling
- Persoonlijkheidstrekke
n zijn minder stabiel,
minder
generaliseerbaar,
minder gelijkmatig van
invloed op gedrag.
Tests voor prestatieniveau
doorstaan vaker kwaliteitstoets
dan tests voor gedragswijze.
Groepsopdracht
1.
1.
Maak een (homogene) test om het prestatieniveau
te meten met 8 items;(selecteer domein en
doelgroep). Elk item heeft minimaal 4
antwoordmogelijkheden
2. Beoordelen van de kwaliteit van items in
pilotstudie (aannemend dat de inhoud aansluit
bij het te bevragen domein). Zijn de vragen en
antwoordalternatieven duidelijk en juist qua
formulering? Worden afleiders ongeveer
evenveel gekozen en niet meer dan het juiste
antwoord?
3. Afnemen bij 40 proefpersonen
4. Invoeren gegevens in SPSS: zie dia.
Literatuur (H(1), H2, H3)
Hoofdstuk 1 Historische ontwikkeling van het testen
Testonderzoek is al oud:
- Oudheid:
o voor 2000vC: Chinese keizer toetst zijn dienaren elke drie jaar op vorderingen
o voor 1000vC: selectie op testscores in boogschieten, muziek, paardrijden, schrijven, rekenen,
sociale etiquette
o Oude Testament: Gideon reduceert zijn leger middels beoordelingen
- Middeleeuwen en nieuwere tijd:
o pogingen om intellectuele of karaktereigenschappen te beschrijven en te meten: fysieke
kenmerken van gelaat (Lombroso), schedel (Gall), lichaam (Huter), of buitenaardse
determinanten (astrologie)
- Begin 20e eeuw: meer wetenschappelijke aandacht
1.1 Periode tot het verschijnen van de Binet-Simon test (intelligentietest)
Psychiatrie in Fr (psychiatrie) en Dld (experimentele psychologie): Verschillen tussen geesteszieken en
verschillende gradaties
o In Frankrijk vooral aandacht voor geestelijke onvolwaardigheid en zwakzinnigheid. Pinel
bevrijdde krankzinnigen, omdat zij niet misdadig maar ziek zijn. Ontstaan van sterke interesse
in geestelijke abnormaliteit.
Esquirol: boek met nadruk op onderscheid tussen krankzinnigheid en zwakzinnigheid.
4
