Samenvatting hoorcolleges A&E
Hoorcollege 1: Introductie
Kijkend naar een padmodel kunnen we het volgende
zeggen over de constructen:
• Cirkel: Latent construct: niet direct meetbaar
• Rechthoek: Manifest construct. Rechtstreeks
meetbaar
Meetfouten:
We kunnen geen studies uitvoeren zonder meetfouten. Dat is ook niet waar we
naar hoeven te streven. Wel streven we naar zo min als mogelijk meetfouten,
bewustwording, transparantie etc.
• Meetfouten aanwezig bij schattingen van effectgroottes, veranderen
systematisch de geobserveerde effectgroottes in vergelijking met de ware
onderliggende effectgroottes.
• Meetfouten in studies kunnen de heterogeniteit zowel vergroten als
onderdrukken.
• Onderschatting van de heterogeniteit als gevolg van onbetrouwbaarheid van
de meting (= meetfout) in de primaire studies.
Wat beoordelen we in onderwijskunde?
We beoordelen cognitieve versus niet cognitieve vaardigheden.
• Cognitieve vaardigheden: Fluïde intelligentie (de mate waarbij mensen leren)
en gekristalliseerde intelligentie (verworven kennis). Dit wordt gemeten door
bijv. een test, toets, performance task. Kan worden geëvalueerd door
normering, p-waarde, rit-waarde, cesuur.
• Niet cognitieve vaardigheden: Persoonlijke attributen (traits), bijvoorbeeld
persoonlijkheid, motivatie. Dit wordt gemeten door bijv. vragenlijsten. Kan
worden geëvalueerd door CFA/EFA factorladingen etc.
Verschil in test en vragenlijsten:
• Test: Een gestandaardiseerde reeks vragen of andere items die zijn
ontworpen om kennis of vaardigheden van een examinandus te beoordelen.
Dit is vaak minder subjectief dan een vragenlijst.
• Vragenlijst: Een reeks vragen/items of andere aanwijzingen die worden
gebruikt om informatie van een respondent te verkrijgen over een onderwerp
als attitudes, gedragingen, persoonlijkheid etc.
Wanneer je een vragenlijst of test inzet, hebben we te maken met stakeholders.
Dit zijn bijv. leerlingen/studenten, docenten, ouders, ministerie, CITO etc.
,Wat gebeurt er op het moment dat we een vragenlijst uitzetten?
Verschil in reference biass:
- De docent weegt ook het gedrag van andere leerlingen mee. Hierdoor wordt zijn
of haar beoordeling relatief.
- De leerling denkt alleen aan zichzelf en bekijkt een vraag vanuit zijn of haar
eigen perspectief.
Vragenlijsten kennen limitaties, namelijk:
• Verkeerde interpretatie
• Te weinig inzicht
• Problemen met interpretatie (voorbeelditem: “Being well versed in math will
go down well with my classmates” – Hoe maak je hiervan een goede vertaling
naar het Nederlands voor basisschoolleerlingen, is dat een geschikt item?)
• Problemen met verwoording: soms moeten participanten schatten en
ervaringen aggregeren (voorbeelditem: Mijn wiskundehuiswerk helpt me niet.
– Altijd? Vaak?)
• Memory recall – is je ervaring consistent, of denk je dat alleen?
• Reference bias (voorbeelditem: Ik ben goed op school. Eigen standaard,
verwachtingen van ouders en docenten, prestatie van klasgenoten, “in
vergelijking met”)
• Sociale wenselijkheid, invullen wat je denkt dat andere willen horen
• Faking, bewust kiezen van een niet kloppend antwoord.
,Toetsen kennen limitaties, namelijk:
• Misinterpretatie
• Weerspiegelt mogelijk niet gedrag en competentie van de getoetste in alle
situaties
• Opdracht kan meer toetsen dan wat gevraagd is (bijv. oog-handcoördinatie is
vereist)
• Kunstmatige situaties
• Oefeningseffecten (leren van eerder gemaakte toetsen)
• Contexteffecten
• Random meetfout (bijv. foute antwoord gekozen hoewel je de correcte
antwoord wilde kiezen)
Welk meetinstrument geschikt is, hangt af van het doel van je onderzoek. De
vragen ‘wat wil ik meten’ en ‘welk meetinstrument moet ik kiezen om mijn doel
te bereiken (welk doel)’ zijn dan ook belangrijke vragen. Elk construct kan zowel
cognitief als niet cognitief gemeten worden.
Doelen kunnen zijn:
• Evaluatie en vergelijking
- Evaluatie van programma’s: effectiviteit
- Vergelijkend oordelen: Vergelijken van scholen/klassen bijv. met het oog op
verantwoording
• Ondersteuning van onderwijskundige praktijk
- Diagnose: vaststellen van niveau, voortgang
- Verbetering van de praktijk
• Toekomstgerichte doelen
- Prognose: voorspellen van toekomstige prestaties/ontwikkelingen
- Onderzoek
Andere doelen, volgens een ander onderzoek (Gerritsen van Leeuwenkamp) zijn:
• Progressie in leerproces meten
• Informatie genereren over hoe doelen kunnen worden bereikt
, • Behalen en belang van doelen beoordelen
De termen assessment en evaluatie worden vaak door elkaar gebruikt.
Assessment: Door tests en vragenlijsten beoordelen van individuen
Evaluatie: Door tests en vragenlijsten beoordelen van programma’s en beleid
Doelen en ontwikkeling meetinstrumenten:
Belangrijk is:
- Wat wil ik meten?
- Welk type en welk meetniveau is geschikt voor mijn doel?
1. Vragenlijsten / Interviews -> Niet-cognitief: Attitudes, opvattingen, voorkeuren
2. Kennistoetsen -> Cognitief: Kennis en beheersingsniveaus
3. Performance assessments -> Cognitief: Vaardigheden en beheersingsniveaus
4. Formatief assessment -> Cognitief en niet-cognitief: Cyclisch,
beheersingsniveau als feedback
Meetinstrumenten beoordelen:
• Validiteit: meet ik wat ik wil meten? Systematische meetfouten verminderen.
• Betrouwbaarheid: is mijn meting consistent? Willekeurige meetfout
verminderen.
• Transparantie: Is het doel helder? Zijn de verwachtingen helder?
• Gebruikersgemak: Wat vraagt het van de respondent?
Kwaliteit van Assessment
Je kan op de volgende onderdelen zorgen voor kwaliteit
• Test items (elke vraag): Samenhang tussen constructen
• Opdrachten
• Kennistoetsen
• Het proces van toetsen
• Het programma van toetsen (gerelateerd aan een cursus, of een curriculum)
• Procedures, policies, administratie
Kwaliteitseisen
Hoorcollege 1: Introductie
Kijkend naar een padmodel kunnen we het volgende
zeggen over de constructen:
• Cirkel: Latent construct: niet direct meetbaar
• Rechthoek: Manifest construct. Rechtstreeks
meetbaar
Meetfouten:
We kunnen geen studies uitvoeren zonder meetfouten. Dat is ook niet waar we
naar hoeven te streven. Wel streven we naar zo min als mogelijk meetfouten,
bewustwording, transparantie etc.
• Meetfouten aanwezig bij schattingen van effectgroottes, veranderen
systematisch de geobserveerde effectgroottes in vergelijking met de ware
onderliggende effectgroottes.
• Meetfouten in studies kunnen de heterogeniteit zowel vergroten als
onderdrukken.
• Onderschatting van de heterogeniteit als gevolg van onbetrouwbaarheid van
de meting (= meetfout) in de primaire studies.
Wat beoordelen we in onderwijskunde?
We beoordelen cognitieve versus niet cognitieve vaardigheden.
• Cognitieve vaardigheden: Fluïde intelligentie (de mate waarbij mensen leren)
en gekristalliseerde intelligentie (verworven kennis). Dit wordt gemeten door
bijv. een test, toets, performance task. Kan worden geëvalueerd door
normering, p-waarde, rit-waarde, cesuur.
• Niet cognitieve vaardigheden: Persoonlijke attributen (traits), bijvoorbeeld
persoonlijkheid, motivatie. Dit wordt gemeten door bijv. vragenlijsten. Kan
worden geëvalueerd door CFA/EFA factorladingen etc.
Verschil in test en vragenlijsten:
• Test: Een gestandaardiseerde reeks vragen of andere items die zijn
ontworpen om kennis of vaardigheden van een examinandus te beoordelen.
Dit is vaak minder subjectief dan een vragenlijst.
• Vragenlijst: Een reeks vragen/items of andere aanwijzingen die worden
gebruikt om informatie van een respondent te verkrijgen over een onderwerp
als attitudes, gedragingen, persoonlijkheid etc.
Wanneer je een vragenlijst of test inzet, hebben we te maken met stakeholders.
Dit zijn bijv. leerlingen/studenten, docenten, ouders, ministerie, CITO etc.
,Wat gebeurt er op het moment dat we een vragenlijst uitzetten?
Verschil in reference biass:
- De docent weegt ook het gedrag van andere leerlingen mee. Hierdoor wordt zijn
of haar beoordeling relatief.
- De leerling denkt alleen aan zichzelf en bekijkt een vraag vanuit zijn of haar
eigen perspectief.
Vragenlijsten kennen limitaties, namelijk:
• Verkeerde interpretatie
• Te weinig inzicht
• Problemen met interpretatie (voorbeelditem: “Being well versed in math will
go down well with my classmates” – Hoe maak je hiervan een goede vertaling
naar het Nederlands voor basisschoolleerlingen, is dat een geschikt item?)
• Problemen met verwoording: soms moeten participanten schatten en
ervaringen aggregeren (voorbeelditem: Mijn wiskundehuiswerk helpt me niet.
– Altijd? Vaak?)
• Memory recall – is je ervaring consistent, of denk je dat alleen?
• Reference bias (voorbeelditem: Ik ben goed op school. Eigen standaard,
verwachtingen van ouders en docenten, prestatie van klasgenoten, “in
vergelijking met”)
• Sociale wenselijkheid, invullen wat je denkt dat andere willen horen
• Faking, bewust kiezen van een niet kloppend antwoord.
,Toetsen kennen limitaties, namelijk:
• Misinterpretatie
• Weerspiegelt mogelijk niet gedrag en competentie van de getoetste in alle
situaties
• Opdracht kan meer toetsen dan wat gevraagd is (bijv. oog-handcoördinatie is
vereist)
• Kunstmatige situaties
• Oefeningseffecten (leren van eerder gemaakte toetsen)
• Contexteffecten
• Random meetfout (bijv. foute antwoord gekozen hoewel je de correcte
antwoord wilde kiezen)
Welk meetinstrument geschikt is, hangt af van het doel van je onderzoek. De
vragen ‘wat wil ik meten’ en ‘welk meetinstrument moet ik kiezen om mijn doel
te bereiken (welk doel)’ zijn dan ook belangrijke vragen. Elk construct kan zowel
cognitief als niet cognitief gemeten worden.
Doelen kunnen zijn:
• Evaluatie en vergelijking
- Evaluatie van programma’s: effectiviteit
- Vergelijkend oordelen: Vergelijken van scholen/klassen bijv. met het oog op
verantwoording
• Ondersteuning van onderwijskundige praktijk
- Diagnose: vaststellen van niveau, voortgang
- Verbetering van de praktijk
• Toekomstgerichte doelen
- Prognose: voorspellen van toekomstige prestaties/ontwikkelingen
- Onderzoek
Andere doelen, volgens een ander onderzoek (Gerritsen van Leeuwenkamp) zijn:
• Progressie in leerproces meten
• Informatie genereren over hoe doelen kunnen worden bereikt
, • Behalen en belang van doelen beoordelen
De termen assessment en evaluatie worden vaak door elkaar gebruikt.
Assessment: Door tests en vragenlijsten beoordelen van individuen
Evaluatie: Door tests en vragenlijsten beoordelen van programma’s en beleid
Doelen en ontwikkeling meetinstrumenten:
Belangrijk is:
- Wat wil ik meten?
- Welk type en welk meetniveau is geschikt voor mijn doel?
1. Vragenlijsten / Interviews -> Niet-cognitief: Attitudes, opvattingen, voorkeuren
2. Kennistoetsen -> Cognitief: Kennis en beheersingsniveaus
3. Performance assessments -> Cognitief: Vaardigheden en beheersingsniveaus
4. Formatief assessment -> Cognitief en niet-cognitief: Cyclisch,
beheersingsniveau als feedback
Meetinstrumenten beoordelen:
• Validiteit: meet ik wat ik wil meten? Systematische meetfouten verminderen.
• Betrouwbaarheid: is mijn meting consistent? Willekeurige meetfout
verminderen.
• Transparantie: Is het doel helder? Zijn de verwachtingen helder?
• Gebruikersgemak: Wat vraagt het van de respondent?
Kwaliteit van Assessment
Je kan op de volgende onderdelen zorgen voor kwaliteit
• Test items (elke vraag): Samenhang tussen constructen
• Opdrachten
• Kennistoetsen
• Het proces van toetsen
• Het programma van toetsen (gerelateerd aan een cursus, of een curriculum)
• Procedures, policies, administratie
Kwaliteitseisen
