Week 1:
Titel: Single Item Measures in Psychological Science
Auteurs: M. Allen, D. Iliescu, S. Greiff (2022)
Beschrijving: Dit artikel bespreekt de voor- en nadelen van single-item
measures in psychologisch onderzoek en de validiteitsaspecten die hierbij een rol
spelen.
Titel: Measurement Matters: Assessing Personal Qualities Other Than Cognitive
Ability for Educational Purposes
Auteurs: A. Duckworth, D. Yeager (2015)
Beschrijving: Dit artikel richt zich op de meting van niet-cognitieve kwaliteiten
en de uitdagingen die hiermee gepaard gaan in het onderwijs.
Titel: Assessment Quality in Tertiary Education: An Integrative Literature Review
Auteurs: K. Gerritsen-van Leeuwenkamp, D. Joosten-ten Brinke, L. Kester (2017)
Beschrijving: Dit literatuuroverzicht behandelt de criteria voor kwalitatieve
assessment, de invloeden hierop en hoe de kwaliteit van assessment wordt
beoordeeld in het tertiair onderwijs.
Week 2:
Titel: One Size Doesn’t Fit All: Using Factor Analysis to Gather Validity Evidence
When Using Surveys in Your Research
Auteurs: E. Knekta, C. Runyon, S. Eddy (2019)
Beschrijving: In dit artikel wordt uitgelegd hoe factoranalyse kan worden
gebruikt om validiteitsbewijs te verzamelen voor vragenlijstonderzoek in
onderwijs.
Week 5:
Titel: Multiple-Choice Testing in Education: Are the Best Practices for Assessment
Also Good for Learning?
Auteur: C. A. Butler
Beschrijving: Dit artikel onderzoekt de effectiviteit van multiple-choice vragen
in onderwijs en of de best practices voor assessment ook gunstig zijn voor leren.
Titel: What Are Standardized Literacy and Numeracy Tests Testing? Evidence of
the Domain-General Contributions to Students’ Standardized Educational Test
Performance
Auteurs: H. Howard, W. Woodcock, E. Ehrich, B. Bokosmaty
Beschrijving: Dit onderzoek analyseert in hoeverre gestandaardiseerde tests
daadwerkelijk de beoogde kennis en vaardigheden meten, en in welke mate
domein-overstijgende cognitieve capaciteiten hierbij een rol spelen.
Week 6:
Titel: Supporting student and teacher feedback literacy: an instructional model
for student feedback processes
Auteurs: De Kleijn (2021)
Beschrijving: Introduceert een instructiemodel om studenten en docenten te
,ondersteunen bij feedbackprocessen. Het model baseert zich op sociaal-
constructivistische principes en de zone van naaste ontwikkeling.
Titel: Formative assessment as practice: The role of students’ motivation
Auteurs: Leenknecht et al. (2021)
Beschrijving: Onderzoekt de relatie tussen formatieve toetsing en
studentmotivatie. Toont aan dat formatieve toetsing de autonome motivatie van
studenten kan versterken, met psychologische basisbehoeften als mediërende
factor.
Titel: The power of internal feedback: exploiting natural comparison processes
Auteurs: Nicol (2021)
Beschrijving: Introduceert het concept van interne feedback, waarbij studenten
continu hun prestaties vergelijken met externe referentiepunten. Bespreekt hoe
dit proces zelfregulatie en leren kan bevorderen.
Week 7:
Titel: Validity evidence for programmatic assessment in competency-based
education
Auteurs: Bok, de Jong, O’Neill, Maxey & Hecker
Beschrijving: Onderzoekt of programmatische beoordeling binnen een
competentiegericht onderwijsmodel (CBE) effectief is in het volgen van de
voortgang van studenten over tijd. Gebruikt de validiteitsstructuur van Kane om
de generaliseerbaarheid en betrouwbaarheid van beoordelingsscores te
analyseren.
Titel: Appropriate Criteria: Key to Effective Rubrics
Auteurs: Brookhart (2018)
Beschrijving: Bespreekt de rol van rubrics in het hoger onderwijs, waarbij de
nadruk ligt op hoe goed opgestelde rubrics kunnen bijdragen aan zowel leren als
beoordelen. Onderzoekt verschillende typen rubrics en hun effectiviteit.
Titel: Does calibration reduce variability in the assessment of accounting
learning outcomes?
Auteurs: O’Connell, de Lange, Freeman, Hancock, Abraham, Howieson, Watty
(2016)
Beschrijving: Onderzoekt hoe consensusmoderatie de variabiliteit tussen
beoordelaars vermindert bij de beoordeling van leeruitkomsten in boekhouding.
Concludeert dat een gestructureerd calibratieproces leidt tot betrouwbaardere en
consistentere beoordelingen.
Titel: Evidence for measuring teachers’ core practices
Auteurs: Van der Schaaf, Slof, Boven & de Jong (2019)
Beschrijving: Analyseert de kwaliteit van meetinstrumenten voor het evalueren
van kernpraktijken van docenten, met focus op validiteit, betrouwbaarheid en
impact. Concludeert dat meerdere meetinstrumenten nodig zijn voor een volledig
beeld van lespraktijken.
,Single Item Measures in Psychological Science
Mark S. Allen, Dragos Iliescu, and Samuel Greiff (2022)
Het artikel bespreekt de rol van Single-Item Measures (SIMs) in psychologisch
onderzoek. SIMs hebben lang een slechte reputatie gehad vanwege vermeende
lage betrouwbaarheid en validiteit. De auteurs pleiten echter voor een
herwaardering van SIMs, vooral wanneer constructen eenduidig en eenvoudig
zijn.
Argumenten tegen Single-item measures:
Lagere (meer onzekere) betrouwbaarheid:
SIMs kunnen niet worden onderworpen aan interne consistentie tests, wat leidt
tot onzekerheid over hun betrouwbaarheid.
- Omdat single-item metingen niet kunnen worden vergeleken met
overeenkomstige items (die hetzelfde construct vastleggen), zijn zij kwetsbaarder
voor meetfouten.
- Voor cross-sectioneel onderzoek kunnen betrouwbaarheids-schattingen voor
single-item- measures niet worden berekend. Dit kan een probleem zijn voor
sommige statistische toepassingen (b.v. schatting van de standaardmeetfout
voor beslissingen, ontkrachting van correlaties).
- Schattingen van de scorestabiliteit zijn niet altijd mogelijk. Zo kan de test-
hertestbetrouwbaarheid niet worden berekend voor cognitieve en affectieve
uitkomsten waarvan wordt voorspeld dat zij in de tijd variëren (bv. emotie,
stemming).
Single-item measures zijn niet in staat om tot een meer verfijnde
beoordeling te komen:
SIMs bieden minder gedetailleerde informatie omdat ze slechts één item
bevatten, wat kan leiden tot een beperkte beoordeling van complexe
constructen. Complexe psychologische constructen kunnen niet adequaat gevat
worden met 1 enkel item. Dit argument houdt verband met inhoudsvaliditeit en
heeft 2 componenten:
1. Voor complexe constructen met multidimensionale inhoud of een veelheid
van gedragsuitingen kan 1 item, in vergelijking met een milti-itemmaar,
het doelconstruct niet voldoende bestrijken.
2. Gebrek aan antwoordcategorieën bij metingen met 1 enkel item: meerdere
items leggen meer informatie vast en maken daardoor een meer verfijnd
onderscheid tussen individuen mogelijk.
Argumenten voor Single-item measures:
Argumenten voor single item measures gaan vooral over nut en efficiëntie,
gecombineerd met sterke aanwijzingen dat single-item measures geldige
reflecties kunnen zijn van het onderliggende construct. Er zijn grofweg vier
argumenten die van belang zijn:
, Zuiniger in termen van administratie:
- Ze zijn eenvoudiger in termen van administratietijd
- Daarom geschikter in omstandigheden met weinig tijd (grote
panelonderzoeken)
- Geschikter voor kwetsbare bevolkingsgroepen die mogelijk niet over cognitieve
of emotionele middelen beschikken om langere testafname sessies te doorstaan.
- Ethische verplichting om tijd van deelnemers niet te verspillen
- Bereidheid van mensen vergroten om vragenlijst in te vullen
- Onderzoekers in staat stellen een groter aantal theoretische constructen in
onderzoek op te nemen
Bevredigender voor testdeelnemers:
- Minder belastend voor respondenten
- Ze zijn voor deelnemers bevredigender, want het is best veel werk, dus liever
kortere schaal.
- Multi-item measures vaak repetitief (vinden deelnemers vervelend)
- Vooral hinderlijk bij schalen die weinig diepgang hebben
- Kan antwoorden van deelnemers beïnvloeden (verwarring, minder tijd/moeite
erin steken, overal hetzelfde invullen)
Kostenbesparing:
- Minder data-invoerkosten.
- Kortere metingen betekenen lagere kosten voor voorbereiding van digitale
formulieren voor gegevensverzameling en minder geavanceerde programma’s
voor het verzamelen van gegevens.
- Exponentieel voordeel als gegevens op papier worden verzameld
Minder dubbelzinnig in de meting van het construct:
- SIMs kunnen directer en begrijpelijker zijn.
- Meerdere items bieden de mogelijkheid om een bredere inhoud te bestrijken,
maar bieden ook meer gelegenheid voor dubbelzinnige/onduidelijke items of
items die inhaken op andere constructen (dus groter risico op construct
contaminatie)
Validiteit testen voor single-item measures
Titel: Single Item Measures in Psychological Science
Auteurs: M. Allen, D. Iliescu, S. Greiff (2022)
Beschrijving: Dit artikel bespreekt de voor- en nadelen van single-item
measures in psychologisch onderzoek en de validiteitsaspecten die hierbij een rol
spelen.
Titel: Measurement Matters: Assessing Personal Qualities Other Than Cognitive
Ability for Educational Purposes
Auteurs: A. Duckworth, D. Yeager (2015)
Beschrijving: Dit artikel richt zich op de meting van niet-cognitieve kwaliteiten
en de uitdagingen die hiermee gepaard gaan in het onderwijs.
Titel: Assessment Quality in Tertiary Education: An Integrative Literature Review
Auteurs: K. Gerritsen-van Leeuwenkamp, D. Joosten-ten Brinke, L. Kester (2017)
Beschrijving: Dit literatuuroverzicht behandelt de criteria voor kwalitatieve
assessment, de invloeden hierop en hoe de kwaliteit van assessment wordt
beoordeeld in het tertiair onderwijs.
Week 2:
Titel: One Size Doesn’t Fit All: Using Factor Analysis to Gather Validity Evidence
When Using Surveys in Your Research
Auteurs: E. Knekta, C. Runyon, S. Eddy (2019)
Beschrijving: In dit artikel wordt uitgelegd hoe factoranalyse kan worden
gebruikt om validiteitsbewijs te verzamelen voor vragenlijstonderzoek in
onderwijs.
Week 5:
Titel: Multiple-Choice Testing in Education: Are the Best Practices for Assessment
Also Good for Learning?
Auteur: C. A. Butler
Beschrijving: Dit artikel onderzoekt de effectiviteit van multiple-choice vragen
in onderwijs en of de best practices voor assessment ook gunstig zijn voor leren.
Titel: What Are Standardized Literacy and Numeracy Tests Testing? Evidence of
the Domain-General Contributions to Students’ Standardized Educational Test
Performance
Auteurs: H. Howard, W. Woodcock, E. Ehrich, B. Bokosmaty
Beschrijving: Dit onderzoek analyseert in hoeverre gestandaardiseerde tests
daadwerkelijk de beoogde kennis en vaardigheden meten, en in welke mate
domein-overstijgende cognitieve capaciteiten hierbij een rol spelen.
Week 6:
Titel: Supporting student and teacher feedback literacy: an instructional model
for student feedback processes
Auteurs: De Kleijn (2021)
Beschrijving: Introduceert een instructiemodel om studenten en docenten te
,ondersteunen bij feedbackprocessen. Het model baseert zich op sociaal-
constructivistische principes en de zone van naaste ontwikkeling.
Titel: Formative assessment as practice: The role of students’ motivation
Auteurs: Leenknecht et al. (2021)
Beschrijving: Onderzoekt de relatie tussen formatieve toetsing en
studentmotivatie. Toont aan dat formatieve toetsing de autonome motivatie van
studenten kan versterken, met psychologische basisbehoeften als mediërende
factor.
Titel: The power of internal feedback: exploiting natural comparison processes
Auteurs: Nicol (2021)
Beschrijving: Introduceert het concept van interne feedback, waarbij studenten
continu hun prestaties vergelijken met externe referentiepunten. Bespreekt hoe
dit proces zelfregulatie en leren kan bevorderen.
Week 7:
Titel: Validity evidence for programmatic assessment in competency-based
education
Auteurs: Bok, de Jong, O’Neill, Maxey & Hecker
Beschrijving: Onderzoekt of programmatische beoordeling binnen een
competentiegericht onderwijsmodel (CBE) effectief is in het volgen van de
voortgang van studenten over tijd. Gebruikt de validiteitsstructuur van Kane om
de generaliseerbaarheid en betrouwbaarheid van beoordelingsscores te
analyseren.
Titel: Appropriate Criteria: Key to Effective Rubrics
Auteurs: Brookhart (2018)
Beschrijving: Bespreekt de rol van rubrics in het hoger onderwijs, waarbij de
nadruk ligt op hoe goed opgestelde rubrics kunnen bijdragen aan zowel leren als
beoordelen. Onderzoekt verschillende typen rubrics en hun effectiviteit.
Titel: Does calibration reduce variability in the assessment of accounting
learning outcomes?
Auteurs: O’Connell, de Lange, Freeman, Hancock, Abraham, Howieson, Watty
(2016)
Beschrijving: Onderzoekt hoe consensusmoderatie de variabiliteit tussen
beoordelaars vermindert bij de beoordeling van leeruitkomsten in boekhouding.
Concludeert dat een gestructureerd calibratieproces leidt tot betrouwbaardere en
consistentere beoordelingen.
Titel: Evidence for measuring teachers’ core practices
Auteurs: Van der Schaaf, Slof, Boven & de Jong (2019)
Beschrijving: Analyseert de kwaliteit van meetinstrumenten voor het evalueren
van kernpraktijken van docenten, met focus op validiteit, betrouwbaarheid en
impact. Concludeert dat meerdere meetinstrumenten nodig zijn voor een volledig
beeld van lespraktijken.
,Single Item Measures in Psychological Science
Mark S. Allen, Dragos Iliescu, and Samuel Greiff (2022)
Het artikel bespreekt de rol van Single-Item Measures (SIMs) in psychologisch
onderzoek. SIMs hebben lang een slechte reputatie gehad vanwege vermeende
lage betrouwbaarheid en validiteit. De auteurs pleiten echter voor een
herwaardering van SIMs, vooral wanneer constructen eenduidig en eenvoudig
zijn.
Argumenten tegen Single-item measures:
Lagere (meer onzekere) betrouwbaarheid:
SIMs kunnen niet worden onderworpen aan interne consistentie tests, wat leidt
tot onzekerheid over hun betrouwbaarheid.
- Omdat single-item metingen niet kunnen worden vergeleken met
overeenkomstige items (die hetzelfde construct vastleggen), zijn zij kwetsbaarder
voor meetfouten.
- Voor cross-sectioneel onderzoek kunnen betrouwbaarheids-schattingen voor
single-item- measures niet worden berekend. Dit kan een probleem zijn voor
sommige statistische toepassingen (b.v. schatting van de standaardmeetfout
voor beslissingen, ontkrachting van correlaties).
- Schattingen van de scorestabiliteit zijn niet altijd mogelijk. Zo kan de test-
hertestbetrouwbaarheid niet worden berekend voor cognitieve en affectieve
uitkomsten waarvan wordt voorspeld dat zij in de tijd variëren (bv. emotie,
stemming).
Single-item measures zijn niet in staat om tot een meer verfijnde
beoordeling te komen:
SIMs bieden minder gedetailleerde informatie omdat ze slechts één item
bevatten, wat kan leiden tot een beperkte beoordeling van complexe
constructen. Complexe psychologische constructen kunnen niet adequaat gevat
worden met 1 enkel item. Dit argument houdt verband met inhoudsvaliditeit en
heeft 2 componenten:
1. Voor complexe constructen met multidimensionale inhoud of een veelheid
van gedragsuitingen kan 1 item, in vergelijking met een milti-itemmaar,
het doelconstruct niet voldoende bestrijken.
2. Gebrek aan antwoordcategorieën bij metingen met 1 enkel item: meerdere
items leggen meer informatie vast en maken daardoor een meer verfijnd
onderscheid tussen individuen mogelijk.
Argumenten voor Single-item measures:
Argumenten voor single item measures gaan vooral over nut en efficiëntie,
gecombineerd met sterke aanwijzingen dat single-item measures geldige
reflecties kunnen zijn van het onderliggende construct. Er zijn grofweg vier
argumenten die van belang zijn:
, Zuiniger in termen van administratie:
- Ze zijn eenvoudiger in termen van administratietijd
- Daarom geschikter in omstandigheden met weinig tijd (grote
panelonderzoeken)
- Geschikter voor kwetsbare bevolkingsgroepen die mogelijk niet over cognitieve
of emotionele middelen beschikken om langere testafname sessies te doorstaan.
- Ethische verplichting om tijd van deelnemers niet te verspillen
- Bereidheid van mensen vergroten om vragenlijst in te vullen
- Onderzoekers in staat stellen een groter aantal theoretische constructen in
onderzoek op te nemen
Bevredigender voor testdeelnemers:
- Minder belastend voor respondenten
- Ze zijn voor deelnemers bevredigender, want het is best veel werk, dus liever
kortere schaal.
- Multi-item measures vaak repetitief (vinden deelnemers vervelend)
- Vooral hinderlijk bij schalen die weinig diepgang hebben
- Kan antwoorden van deelnemers beïnvloeden (verwarring, minder tijd/moeite
erin steken, overal hetzelfde invullen)
Kostenbesparing:
- Minder data-invoerkosten.
- Kortere metingen betekenen lagere kosten voor voorbereiding van digitale
formulieren voor gegevensverzameling en minder geavanceerde programma’s
voor het verzamelen van gegevens.
- Exponentieel voordeel als gegevens op papier worden verzameld
Minder dubbelzinnig in de meting van het construct:
- SIMs kunnen directer en begrijpelijker zijn.
- Meerdere items bieden de mogelijkheid om een bredere inhoud te bestrijken,
maar bieden ook meer gelegenheid voor dubbelzinnige/onduidelijke items of
items die inhaken op andere constructen (dus groter risico op construct
contaminatie)
Validiteit testen voor single-item measures
