Allen: Single item measurement zijn aanvaardbaar wanneer constructen unidimensionaal, duidelijk, gedefinieerd en beperkt in omvang zijn. Nadeel: lagere, meer onzekere,
betrouwbaarheid (onmogelijke interne consistentie test) / niet in staat om tot een verfijnde beoordeling te komen (minder gedetailleerde informatie want maar één item). Voordeel:
zuiniger in termen van administratie / bevredigender voor testdeelnemers / kostenbesparing / minder dubbelzinnig in meting construct. Validiteit is belangrijk (face, criterion
(convergent/predictive/concurrent), test-hertest).
Duckworth & Yeager: meten niet cognitieve kwaliteiten kan een uitdaging zijn. Alle metingen hebben zowel beperkingen als voordelen. Zoeken naar meest valide meting voor beoogde
doel. Waar mogelijk meerdere meetmethoden gebruiken. Drie gangbare meetmethoden: Zelfrapportage vragenlijst (Voordeel: goedkoop, snel, betrouwbaar, ware mening goed kenbaar
maken. Nadeel: misinterpretatie deelnemer, gebrek aan inzicht/informatie, ongevoelig verandering korte termijn, referentie bias, faking/sociale wenselijkheid). Prestatiegerichte taken
(Voordeel: minder subjectief, gevoeliger subtiele veranderingen. Nadeel: verkeerde interpretatie onderzoeker, ongevoelig typisch gedrag, onzuiverheid taak, kunstmatige situaties,
oefeneffect, random error). Proces zelfrapportage item beantwoorden: Understand, recall, integrate, translate, edit. Problemen met bestaande metingen kunnen toegepaste toepassingen
in gevaar brengen (programma evaluatie, verantwoording, individuele diagnose).
Gerritsen van leeuwenkamp: mindere assessment kwaliteit probleem voor leerlingen, docenten, overheid en samenleving. De thema's van beoordelingskwaliteitscriteria: validiteit,
transparantie en betrouwbaarheid. De thema's van invloeden op beoordelingskwaliteitscriteria: standaardisatie, belanghebbenden, duidelijkheid, en constructieve irrelevantie. De thema's
die samenhangen met de evaluatie van beoordelingskwaliteitscriteria: validatie en statistische data-analyses. De thema's die samenhangen met de perspectieven die bij de evaluatie van
beoordelingskwaliteit uitgelegd zouden moeten zijn: studenten, medewerkers, overheid en experts.
Kneta: Factoranalyse is een statistische methode die helpt om het aantal constructen te bepalen dat gemeten wordt, te toetsen of items binnen een construct goed samenhangen, een
hypothese te bevestigen over hoe items gegroepeerd zijn. EFA: ontdekken van verborgen structuren. CFA: Toetsen van vooraf bepaalde structuur. Stappen: definieer het construct en doel
instrument, dataverzameling en steekproef grootte, assumpties checken > CFA: estimator kiezen (5+ antwoordopties: MLR, anders WLS beter), Specifying the model (geïdentificeerd
model), Resultaten interpreteren (factor loadings (hoog maar niet te hoog), correlation residuals (verschillen tussen de echte correlaties in je data en de correlaties die je model voorspelt,
liefst 0. Groter dan 0.10 wijst op een probleem), model modificaties, zie modificatie indices (kruisladingen, residuele covarianties). Let op; moet theoretisch onderbouwd zijn. Modelfit
goed? Interpreteren. Modelfit slecht? > EFA: estimator kiezen, Factor rotatie (meestal obliek want factoren correleren vaak met elkaar), hoeveelheid factoren bepalen (screeplot,
eigenwaarde boven 1, parallelle analyse), Resultaten interpreteren (patroon coëfficiënten tussen 0.4 en 0.7, kruisladingen hoger dan 0.2/0.3 zijn vaak problematisch, communaliteiten
(soort hoeveelheid variantie in een variabele die wordt verklaard door alle factoren samen. Graag rond 1). Zodra de factoren en items empirisch én theoretisch zinvol zijn, kan deze
worden geïnterpreteerd. Bedenk namen voor de factoren. Als een EFA een oplossing heeft opgeleverd moet deze nog worden geverifieerd met een CFA en steekproef. Hiermee test je of
Butler: MC (miltiple choice) toetsen zijn naast assessment ook gunstig voor leren (assessment functie & leerfunctie). Voordelen MC toetsen: Makkelijk te scoren, objectief, kan veel
content toetsen, voorkeur studenten. Belangrijk: Vermijd complexe itemtypes, creëer items die betrokkenheid van specifieke cognitieve processen vereist, vermijd ‘none of the above’ en
‘all of the above’ opties, gebruik drie mogelijke antwoordopties, maak toets uitdagend maar niet té moeilijk. Daarnaast: geef feedback.
Howard: Meten gestandaardiseerde toetsen werkelijk wat ze willen meten? Rash-model wordt om dit te testen, wordt gebruikt voor schaal- en testconstructies. Zet ruwe gegevens om in
2 onafhankelijke parameters: Schattingen van vaardigheid en van moeilijkheidsgraad van een item. De relatie wordt op een lineaire schaal uitgedrukt als logische functie van de relatieve
afstand tussen iemand vaardigheid en moeilijkheidsgraad van het item.
De Kleijn: Effectieve feedbackprocessen vinden plaats in interactie met meer deskundige leeftijdsgenoot (Vygotsky). Model is bedoeld om feedbackgeletterdheid te ondersteunen. Dit
helpt te begrijpen wat ze moeten weten, waarderen en doen om effectief gebruik te kunnen maken van feedbackinformatie. Verwijst naar kennis, vaardigheden en attitudes die nodig zijn
om feedback effectief te gebruiken. Instructiemodel: Feedback zoeken (startpunt of volgen op), begrijpen (intern proces), gebruiken (goal revision/action planning), reageren op
(bespreken hoe geïnterpreteerd/gebruikt). Studenten hebben moeite met stellen specifieke feedbackvragen (follow-up, probleem gebaseerd, leerdoel gebaseerd feedbackverzoek).
Leenknecht: Formatieve toetsing meet leren en ondersteunt leerproces. Is een sociaal proces waarin interacties tussen docenten, studenten en medestudenten centraal staan. Meer
gebruik van formatieve toetsing hangt samen met meer gevoelens van autonomie en competentie, meer autonome motivatie. Formatief beoordelen kent een cyclisch karakter. Nlack en
William beschrijven 5 onderwijsstrategieën van formatieve beoordeling die betrekking hebben op vragen ‘waar ga ik/leerling naartoe?’ ‘hoe gaat het met mij/leerling?’ ‘waarheen nu?’. 1:
Verduidelijken, delen en begrijpen leerintenties en succescriteria. 2: Organiseren effectieve discussies/activiteiten/leertaken die inzicht ontlokken in leerproces. 3: Reactie van leraar op
inzicht dat hij heeft gekregen in leerproces (feedback). 4: Activeren van leerlingen als instructiebronnen voor elkaar. 5: Activeren van leerlingen als eigenaren van hun leerproces.
Formatieve assessment is geen handeling op zich, maar onderdeel van bredere context curriculum praktijken. Verschillen in motivatie voor formatieve toetsing: Intern (selfdetermination
theory: motivatie wordt bepaald door mate zelfbekrachtiging voor een activiteit) en extern (Skinner’s self system model of mitivational development over hoe behoeftebevrediging /
frustratie kan worden beïnvloedt door context).
betrouwbaarheid (onmogelijke interne consistentie test) / niet in staat om tot een verfijnde beoordeling te komen (minder gedetailleerde informatie want maar één item). Voordeel:
zuiniger in termen van administratie / bevredigender voor testdeelnemers / kostenbesparing / minder dubbelzinnig in meting construct. Validiteit is belangrijk (face, criterion
(convergent/predictive/concurrent), test-hertest).
Duckworth & Yeager: meten niet cognitieve kwaliteiten kan een uitdaging zijn. Alle metingen hebben zowel beperkingen als voordelen. Zoeken naar meest valide meting voor beoogde
doel. Waar mogelijk meerdere meetmethoden gebruiken. Drie gangbare meetmethoden: Zelfrapportage vragenlijst (Voordeel: goedkoop, snel, betrouwbaar, ware mening goed kenbaar
maken. Nadeel: misinterpretatie deelnemer, gebrek aan inzicht/informatie, ongevoelig verandering korte termijn, referentie bias, faking/sociale wenselijkheid). Prestatiegerichte taken
(Voordeel: minder subjectief, gevoeliger subtiele veranderingen. Nadeel: verkeerde interpretatie onderzoeker, ongevoelig typisch gedrag, onzuiverheid taak, kunstmatige situaties,
oefeneffect, random error). Proces zelfrapportage item beantwoorden: Understand, recall, integrate, translate, edit. Problemen met bestaande metingen kunnen toegepaste toepassingen
in gevaar brengen (programma evaluatie, verantwoording, individuele diagnose).
Gerritsen van leeuwenkamp: mindere assessment kwaliteit probleem voor leerlingen, docenten, overheid en samenleving. De thema's van beoordelingskwaliteitscriteria: validiteit,
transparantie en betrouwbaarheid. De thema's van invloeden op beoordelingskwaliteitscriteria: standaardisatie, belanghebbenden, duidelijkheid, en constructieve irrelevantie. De thema's
die samenhangen met de evaluatie van beoordelingskwaliteitscriteria: validatie en statistische data-analyses. De thema's die samenhangen met de perspectieven die bij de evaluatie van
beoordelingskwaliteit uitgelegd zouden moeten zijn: studenten, medewerkers, overheid en experts.
Kneta: Factoranalyse is een statistische methode die helpt om het aantal constructen te bepalen dat gemeten wordt, te toetsen of items binnen een construct goed samenhangen, een
hypothese te bevestigen over hoe items gegroepeerd zijn. EFA: ontdekken van verborgen structuren. CFA: Toetsen van vooraf bepaalde structuur. Stappen: definieer het construct en doel
instrument, dataverzameling en steekproef grootte, assumpties checken > CFA: estimator kiezen (5+ antwoordopties: MLR, anders WLS beter), Specifying the model (geïdentificeerd
model), Resultaten interpreteren (factor loadings (hoog maar niet te hoog), correlation residuals (verschillen tussen de echte correlaties in je data en de correlaties die je model voorspelt,
liefst 0. Groter dan 0.10 wijst op een probleem), model modificaties, zie modificatie indices (kruisladingen, residuele covarianties). Let op; moet theoretisch onderbouwd zijn. Modelfit
goed? Interpreteren. Modelfit slecht? > EFA: estimator kiezen, Factor rotatie (meestal obliek want factoren correleren vaak met elkaar), hoeveelheid factoren bepalen (screeplot,
eigenwaarde boven 1, parallelle analyse), Resultaten interpreteren (patroon coëfficiënten tussen 0.4 en 0.7, kruisladingen hoger dan 0.2/0.3 zijn vaak problematisch, communaliteiten
(soort hoeveelheid variantie in een variabele die wordt verklaard door alle factoren samen. Graag rond 1). Zodra de factoren en items empirisch én theoretisch zinvol zijn, kan deze
worden geïnterpreteerd. Bedenk namen voor de factoren. Als een EFA een oplossing heeft opgeleverd moet deze nog worden geverifieerd met een CFA en steekproef. Hiermee test je of
Butler: MC (miltiple choice) toetsen zijn naast assessment ook gunstig voor leren (assessment functie & leerfunctie). Voordelen MC toetsen: Makkelijk te scoren, objectief, kan veel
content toetsen, voorkeur studenten. Belangrijk: Vermijd complexe itemtypes, creëer items die betrokkenheid van specifieke cognitieve processen vereist, vermijd ‘none of the above’ en
‘all of the above’ opties, gebruik drie mogelijke antwoordopties, maak toets uitdagend maar niet té moeilijk. Daarnaast: geef feedback.
Howard: Meten gestandaardiseerde toetsen werkelijk wat ze willen meten? Rash-model wordt om dit te testen, wordt gebruikt voor schaal- en testconstructies. Zet ruwe gegevens om in
2 onafhankelijke parameters: Schattingen van vaardigheid en van moeilijkheidsgraad van een item. De relatie wordt op een lineaire schaal uitgedrukt als logische functie van de relatieve
afstand tussen iemand vaardigheid en moeilijkheidsgraad van het item.
De Kleijn: Effectieve feedbackprocessen vinden plaats in interactie met meer deskundige leeftijdsgenoot (Vygotsky). Model is bedoeld om feedbackgeletterdheid te ondersteunen. Dit
helpt te begrijpen wat ze moeten weten, waarderen en doen om effectief gebruik te kunnen maken van feedbackinformatie. Verwijst naar kennis, vaardigheden en attitudes die nodig zijn
om feedback effectief te gebruiken. Instructiemodel: Feedback zoeken (startpunt of volgen op), begrijpen (intern proces), gebruiken (goal revision/action planning), reageren op
(bespreken hoe geïnterpreteerd/gebruikt). Studenten hebben moeite met stellen specifieke feedbackvragen (follow-up, probleem gebaseerd, leerdoel gebaseerd feedbackverzoek).
Leenknecht: Formatieve toetsing meet leren en ondersteunt leerproces. Is een sociaal proces waarin interacties tussen docenten, studenten en medestudenten centraal staan. Meer
gebruik van formatieve toetsing hangt samen met meer gevoelens van autonomie en competentie, meer autonome motivatie. Formatief beoordelen kent een cyclisch karakter. Nlack en
William beschrijven 5 onderwijsstrategieën van formatieve beoordeling die betrekking hebben op vragen ‘waar ga ik/leerling naartoe?’ ‘hoe gaat het met mij/leerling?’ ‘waarheen nu?’. 1:
Verduidelijken, delen en begrijpen leerintenties en succescriteria. 2: Organiseren effectieve discussies/activiteiten/leertaken die inzicht ontlokken in leerproces. 3: Reactie van leraar op
inzicht dat hij heeft gekregen in leerproces (feedback). 4: Activeren van leerlingen als instructiebronnen voor elkaar. 5: Activeren van leerlingen als eigenaren van hun leerproces.
Formatieve assessment is geen handeling op zich, maar onderdeel van bredere context curriculum praktijken. Verschillen in motivatie voor formatieve toetsing: Intern (selfdetermination
theory: motivatie wordt bepaald door mate zelfbekrachtiging voor een activiteit) en extern (Skinner’s self system model of mitivational development over hoe behoeftebevrediging /
frustratie kan worden beïnvloedt door context).
