Aantekeningen hoorcolleges Testen en Meten
Hoorcollege 1 10-1-2021
Welke testen zijn er in de pedagogiek en onderwijswetenschappen?
-IQ-test
-Een tentamen/toets, zoals: de Cito-toets
-Hetero-anamnese
-De SCARED
Leren om:
-Testscores te interpreteren (ook in SPSS-opdracht)
-Correct gebruik van testinformatie en dit ook toetsen op betrouwbaarheid en validiteit
Bedenk een test voor het meten van werkgeheugen:
-Een cijferreeks opnoemen. Deze moet de respondent onthouden en reproduceren.
-Boodschappenlijstje onthouden
Het werkgeheugen
-Een cognitief systeem met een bepaalde capaciteit dat informatie tijdelijk vast kan houden.
-Werkgeheugen is een niet observeerbaar construct, ofwel hypothetisch of latent. Het is niet direct
observeerbaar.
-Zo’n test is een indicator van het werkgeheugen. Deze kan (en zal waarschijnlijk) verschillen tussen
de verschillende tests/metingen.
-Onze constructen bijna altijd latent. Iemands niveau van depressie, intelligentie, zelfredzaamheid of
rekenvaardigheid zijn niet direct af te lezen. Deze kunnen we alleen maar meten door testjes te
doen.
-Wel observeerbaar zijn:
-Aantal cijfers onthouden
-Aantal woorden onthouden
Je wilt natuurlijk zulke goed mogelijke indicatoren om een niet observeerbaar construct te meten.
Hier heb je een theorie voor nodig.
Op basis van deze theorie kan je hypothetische constructen en observeerbaar gedrag aan elkaar
linken. Theorieën zullen verschillend tegen de latente constructen aankijken. Hierdoor is uitgebreid
theoretisch onderzoek naar de latente constructen ontzettend belangrijk.
-Er is empirisch onderzoek nodig om de validiteit en betrouwbaarheid van die indicatoren te
bepalen.
What is a psychological test?
Cronbach: “a systematic procedure for comparing the behavior of two or more people”.
Drie kenmerken van een test:
-Gedragingen (hier gaat het om)
-Gedragingen worden systematisch verzameld
-Gedragingen worden gebruikt om mensen te vergelijken
,Welke van de tien volgende ‘tests’ vallen volgens Cronbach onder een test?
-Digit span (ja)
-Tentamen (ja)
-Beck’s Depression Inventory (ja)
-Leraar die vraagt hoe het met een kind gaat (nee)
-Sollicitatiegesprek (zou wel zo moeten zijn, is in de praktijk vaak niet systematisch)
-Bloeddrukmeting bij één patiënt (ja)
-SPSS-opdracht bij testen en meten (ja)
-Eindtoets basisonderwijs (ja)
-Beroepskeuzetest (ja)
-Leerling-volg systeem (ja)
Norm referenced vs. Criterion referenced
-Norm referenced: score van de respondent wordt geïnterpreteerd t.o.v. de scores van andere
respondenten. Bijna al onze tests zijn norm referenced. We bepalen een bepaalde score (gemiddelde
en afwijking) op basis van alle uitslagen. Er is dus een referentiegroep.
Voorbeeld: Beck’s Depression Inventory. Er wordt gekeken wat de positie is van jouw score
t.o.v. de score van andere respondenten.
-Criterion referenced: score van de respondent wordt geïnterpreteerd onafhankelijk van de scores
van de anderen. Voorafgaand aan de test is er iemand die de cut-off scores bepaald. Dit staat dus los
van de testuitslag. Maar meestal zijn deze criteria wel gebaseerd op scores vanuit het verleden.
Voorbeeld: -tentamen of Cito-eindtoets
-In een basketbalteam mogen wanneer >2.00 meter
Speeded test: snelheidstest. Een score halen binnen een tijdslimiet.
Algemene test/ power test: op basis van alle vragen een score halen. Er is geen tijdslimiet.
Uitdagingen bij metingen
-Een van onze uitdagingen is om te proberen de belangrijke aspecten van dit soort menselijke
psychologische eigenschappen in één getal te identificeren en vast te leggen. Dit is natuurlijk heel
moeilijk bij brede begrippen zoals zelfwaardering.
-Participant reactivity: Reacties van participanten: mensen hun kennis over dat zij geobserveerd
worden kan ervoor zorgen dat zij op andere manieren reageren dan wat zij zouden doen wanneer zij
onbewust geobserveerd zouden worden.
-Demand characteristics: gedrag aanpassen om de onderzoeker te helpen.
-Social desirability: proberen om indruk te maken op de persoon die de test afneemt.
-Malingering: ‘Malingeren’ is ‘het opzettelijk produceren van valse of sterk overdreven
lichamelijke of psychische symptomen, waarbij externe motieven de aanleiding vormen’
-Observer bias: Een andere uitdaging is dat de mensen die de gegevens verzamelen vooroordelen en
verwachtingen bij hun taak kunnen hebben. De meetkwaliteit komt in gevaar wanneer waarnemers
toestaan dat deze invloeden hun waarnemingen vervormen.
-Sensitiviteit: Een vierde uitdaging is de scoregevoeligheid. Vaardigheid om het juiste
meetinstrument of de juiste schaal te kiezen voor je onderzoek. Bijvoorbeeld: je meet de dikte van
een haar niet met een bordliniaal. Of gebruik je een twee of een 7 punts-schaal.
,Fundamental issues with numbers
Nominaal niveau
Eigenschap: identiteit
-1, 2 en 2 dienen alleen als onderscheid (had ook 100, 4 en -9) mogen zijn
-Optellen, aftrekken, vermenigvuldigen, delen is niet zinvol
-In een vragenlijst: “Wat is je religie?” 1. Christelijk. 2. Islam 3. Overig.
Je kan hier dus niet mee rekenen. Er is ook geen ordening op basis van de getallen mogelijk.
Ordinaal niveau
Eigenschap: identiteit en ordening
-1, 2 en 3 geven ordening aan. Scores hadden ook bv 0, 1 en 2 mogen zijn
-1 is het langst, daarna 2 en daarna 3. Dus geordend op lengte.
-Voorbeeld zijn ook de schaalvragen. 1. Helemaal niet mee eens, 2 niet mee eens, enz.
-Rekenen met de scores is niet zinvol
-Veel items hebben ordinaal meetniveau (BDI)
Interval niveau
Eigenschap: identiteit, ordening en kwantiteit
-De verschillen zijn betekenisvol
-Het verschil tussen 1 en 2 is even groot als tussen 2 en 3. En het verschil tussen 1 en 3 is twee keer
zo groot als tussen 1 en 2.
-Op deze manier kijken we vaak naar cijfers. Maar dit is natuurlijk niet altijd zo. Bij tentamencijfers is
het verschil tussen een 5 en een 6 (wel/niet slagen) veel groter dan een 6 en een 7.
-Doordat de verschillen even groot zijn is:
Optellen, aftrekken, vermenigvuldigen en delen mogelijk.
Ratio niveau
-Eigenschap: identiteit, ordening, kwantiteit en absolute 0
-De verschillen zijn betekenisvol
-Waarde 0: eigenschap ontbreekt: iets is er dus niet.
-Optellen, aftrekken, vermenigvuldigen, delen is mogelijk
, Deze drie meetlatjes geven lengte in centimeter aan. De waarde 0 betekent dus de afwezigheid van
de eigenschap. 0 centimeter is geen lengte. Bij temperatuur is dit er wel. Er is altijd een bepaalde
temperatuur. Bij 0 graden is het gewoon een beetje koud.
Indicatief: hoog = hoog
Contra indicatief: laag = hoog en hoog = laag.
Je moet dus voordat je een somscore kan berekenen de contraindicatieve items omscoren zoals
hierboven.
Hoorcollege 1 10-1-2021
Welke testen zijn er in de pedagogiek en onderwijswetenschappen?
-IQ-test
-Een tentamen/toets, zoals: de Cito-toets
-Hetero-anamnese
-De SCARED
Leren om:
-Testscores te interpreteren (ook in SPSS-opdracht)
-Correct gebruik van testinformatie en dit ook toetsen op betrouwbaarheid en validiteit
Bedenk een test voor het meten van werkgeheugen:
-Een cijferreeks opnoemen. Deze moet de respondent onthouden en reproduceren.
-Boodschappenlijstje onthouden
Het werkgeheugen
-Een cognitief systeem met een bepaalde capaciteit dat informatie tijdelijk vast kan houden.
-Werkgeheugen is een niet observeerbaar construct, ofwel hypothetisch of latent. Het is niet direct
observeerbaar.
-Zo’n test is een indicator van het werkgeheugen. Deze kan (en zal waarschijnlijk) verschillen tussen
de verschillende tests/metingen.
-Onze constructen bijna altijd latent. Iemands niveau van depressie, intelligentie, zelfredzaamheid of
rekenvaardigheid zijn niet direct af te lezen. Deze kunnen we alleen maar meten door testjes te
doen.
-Wel observeerbaar zijn:
-Aantal cijfers onthouden
-Aantal woorden onthouden
Je wilt natuurlijk zulke goed mogelijke indicatoren om een niet observeerbaar construct te meten.
Hier heb je een theorie voor nodig.
Op basis van deze theorie kan je hypothetische constructen en observeerbaar gedrag aan elkaar
linken. Theorieën zullen verschillend tegen de latente constructen aankijken. Hierdoor is uitgebreid
theoretisch onderzoek naar de latente constructen ontzettend belangrijk.
-Er is empirisch onderzoek nodig om de validiteit en betrouwbaarheid van die indicatoren te
bepalen.
What is a psychological test?
Cronbach: “a systematic procedure for comparing the behavior of two or more people”.
Drie kenmerken van een test:
-Gedragingen (hier gaat het om)
-Gedragingen worden systematisch verzameld
-Gedragingen worden gebruikt om mensen te vergelijken
,Welke van de tien volgende ‘tests’ vallen volgens Cronbach onder een test?
-Digit span (ja)
-Tentamen (ja)
-Beck’s Depression Inventory (ja)
-Leraar die vraagt hoe het met een kind gaat (nee)
-Sollicitatiegesprek (zou wel zo moeten zijn, is in de praktijk vaak niet systematisch)
-Bloeddrukmeting bij één patiënt (ja)
-SPSS-opdracht bij testen en meten (ja)
-Eindtoets basisonderwijs (ja)
-Beroepskeuzetest (ja)
-Leerling-volg systeem (ja)
Norm referenced vs. Criterion referenced
-Norm referenced: score van de respondent wordt geïnterpreteerd t.o.v. de scores van andere
respondenten. Bijna al onze tests zijn norm referenced. We bepalen een bepaalde score (gemiddelde
en afwijking) op basis van alle uitslagen. Er is dus een referentiegroep.
Voorbeeld: Beck’s Depression Inventory. Er wordt gekeken wat de positie is van jouw score
t.o.v. de score van andere respondenten.
-Criterion referenced: score van de respondent wordt geïnterpreteerd onafhankelijk van de scores
van de anderen. Voorafgaand aan de test is er iemand die de cut-off scores bepaald. Dit staat dus los
van de testuitslag. Maar meestal zijn deze criteria wel gebaseerd op scores vanuit het verleden.
Voorbeeld: -tentamen of Cito-eindtoets
-In een basketbalteam mogen wanneer >2.00 meter
Speeded test: snelheidstest. Een score halen binnen een tijdslimiet.
Algemene test/ power test: op basis van alle vragen een score halen. Er is geen tijdslimiet.
Uitdagingen bij metingen
-Een van onze uitdagingen is om te proberen de belangrijke aspecten van dit soort menselijke
psychologische eigenschappen in één getal te identificeren en vast te leggen. Dit is natuurlijk heel
moeilijk bij brede begrippen zoals zelfwaardering.
-Participant reactivity: Reacties van participanten: mensen hun kennis over dat zij geobserveerd
worden kan ervoor zorgen dat zij op andere manieren reageren dan wat zij zouden doen wanneer zij
onbewust geobserveerd zouden worden.
-Demand characteristics: gedrag aanpassen om de onderzoeker te helpen.
-Social desirability: proberen om indruk te maken op de persoon die de test afneemt.
-Malingering: ‘Malingeren’ is ‘het opzettelijk produceren van valse of sterk overdreven
lichamelijke of psychische symptomen, waarbij externe motieven de aanleiding vormen’
-Observer bias: Een andere uitdaging is dat de mensen die de gegevens verzamelen vooroordelen en
verwachtingen bij hun taak kunnen hebben. De meetkwaliteit komt in gevaar wanneer waarnemers
toestaan dat deze invloeden hun waarnemingen vervormen.
-Sensitiviteit: Een vierde uitdaging is de scoregevoeligheid. Vaardigheid om het juiste
meetinstrument of de juiste schaal te kiezen voor je onderzoek. Bijvoorbeeld: je meet de dikte van
een haar niet met een bordliniaal. Of gebruik je een twee of een 7 punts-schaal.
,Fundamental issues with numbers
Nominaal niveau
Eigenschap: identiteit
-1, 2 en 2 dienen alleen als onderscheid (had ook 100, 4 en -9) mogen zijn
-Optellen, aftrekken, vermenigvuldigen, delen is niet zinvol
-In een vragenlijst: “Wat is je religie?” 1. Christelijk. 2. Islam 3. Overig.
Je kan hier dus niet mee rekenen. Er is ook geen ordening op basis van de getallen mogelijk.
Ordinaal niveau
Eigenschap: identiteit en ordening
-1, 2 en 3 geven ordening aan. Scores hadden ook bv 0, 1 en 2 mogen zijn
-1 is het langst, daarna 2 en daarna 3. Dus geordend op lengte.
-Voorbeeld zijn ook de schaalvragen. 1. Helemaal niet mee eens, 2 niet mee eens, enz.
-Rekenen met de scores is niet zinvol
-Veel items hebben ordinaal meetniveau (BDI)
Interval niveau
Eigenschap: identiteit, ordening en kwantiteit
-De verschillen zijn betekenisvol
-Het verschil tussen 1 en 2 is even groot als tussen 2 en 3. En het verschil tussen 1 en 3 is twee keer
zo groot als tussen 1 en 2.
-Op deze manier kijken we vaak naar cijfers. Maar dit is natuurlijk niet altijd zo. Bij tentamencijfers is
het verschil tussen een 5 en een 6 (wel/niet slagen) veel groter dan een 6 en een 7.
-Doordat de verschillen even groot zijn is:
Optellen, aftrekken, vermenigvuldigen en delen mogelijk.
Ratio niveau
-Eigenschap: identiteit, ordening, kwantiteit en absolute 0
-De verschillen zijn betekenisvol
-Waarde 0: eigenschap ontbreekt: iets is er dus niet.
-Optellen, aftrekken, vermenigvuldigen, delen is mogelijk
, Deze drie meetlatjes geven lengte in centimeter aan. De waarde 0 betekent dus de afwezigheid van
de eigenschap. 0 centimeter is geen lengte. Bij temperatuur is dit er wel. Er is altijd een bepaalde
temperatuur. Bij 0 graden is het gewoon een beetje koud.
Indicatief: hoog = hoog
Contra indicatief: laag = hoog en hoog = laag.
Je moet dus voordat je een somscore kan berekenen de contraindicatieve items omscoren zoals
hierboven.
