H5 - Afneming van tests en verwerking van testgegevens
5.1 Tests afnemen
Een tests lijkt op het eerste gezicht misschien eenvoudig, maar is in werkelijkheid een complex
proces. Ten eerste kan de testsituatie variëren van zakelijk neutraal tot een vorm van onderzoek die
zowel van proefpersoon als proefleider een hoge mate van persoonlijke inzet vereist, bv een
rollenspel. Ten tweede verschillen de onderzochten in motivatie, samenwerking, onbevangenheid en
andere eigenschappen die de relatie met de testleider beïnvloeden. Probleem daarbij vormt de
testervaring of 'test-wiseness'. Proefleiders vormen ook geen constante factor in de testsituatie. De
kunnen variëren in training, ervaring, inzicht, sensitiviteit en bereidheid tot contact. Ten slotte is er een
grote variëteit in instructietechniek en hoeveelheid oefening die voor het afnemen van een test nodig
zijn. Sommige tests kun je na korte kennisname af nemen, maar sommige vereisen lange training, bv
RAKIT.
Alleen in een gestandaardiseerde testsituatie kunnen de waargenomen verschillen in testgedrag
tussen proefpersonen echt worden toegeschreven aan henzelf. Bv een instructie die niet voor elke pp
gelijk is, vormt al een bron van verschil in testprestatie die bv niet kan worden toegeschreven aan de
persoonlijkheidstrek die de test meet. We gaan nu in op aspecten van standaardisatie:
- De objectieve testsituatie Onderzochten worden in maximaal gelijke omstandigheden getest. Goed
uitgewerkte instructie en de eis om je hieraan te houden. Zowel bij groeps- als individuele tests. Bij
tests met een snelheidskarakter is een combi van concentratie met snelheid vereist, dus is lawaai
funest.
- Gedrag van de proefpersoon Situatie waarin pp zich verkeert wil men zo constant mogelijk
houden. Niet altijd mogelijk vermoeid, afvragen wat er van hem/haar wordt verwacht, sociale
wenselijkheid. Sommige factoren zijn tot op zekere hoogte controleerbaar, bv erop toezien dat pp de
opdracht snapt. Door ervaring of training kan men echter een zekere vertrouwdheid met het testen
hebben en ook kan verwachting mbt moeilijkheid invloed hebben. Veel zal afhangen van de
deskundigheid van de proefleider. Het beste gebeurt dit in een normale, natuurlijke relatie tussen
proefleider en proefpersoon. Moeilijker te beïnvloeden is de motivatie. De proefleider moet streven
naar een ongedwongen relatie met de onderzochte. Soms wordt het doel van het onderzoek niet door
de onderzochte erkend, waardoor deze niet gemotiveerd is. Bovendien vormt diegene vrijwel altijd een
idee over de bedoeling van de test. Ook angst voor de gevolgen van een slechte prestatie spelen een
rol testangst(state anxiety). Pos vs neg faalangst. Een geringe mate van angst is bevorderlijk, maar
zeer sterk is schadelijk.
- Gedrag van de proefleider Problemen met standaardisatie van het gedrag van de testleider speelt
vooral een rol bij individuele tests, omdat hier een wisselwerking is tussen testleider en proefpersoon.
De variatie in gedrag van de testleider kan echter makkelijker worden gecontroleerd dan die van de
onderzochte. De testleider moet ernaar streven om de testinstructie zo goed mogelijk te kennen en
naar de letter te volgen. Minder eenvoudig ligt het bij psychologische mechanismen, zoals
vooroordelen etc. Hij moet zich dwingen tot strikte zelfcontrole en zelfcorrectie. Toch blijven subtiele
kenmerken een rol spelen, zoals uiterlijk, sekse, leeftijd van de onderzochte en persoonskenmerken
van de testleider.
Hoe kan men zulke problemen ondervangen? Dit hangt af van het belang van het testonderzoek.
Voorspellende uitspraken die van groot belang zijn voor het individu of voor een selecterende
organisatie vereisen een stevigere basis dan de klinisch-intuïtieve benadering. Het beste kan men een
, zo normaal mogelijke relatie opbouwen met een positieve,stimulerende en vriendelijke toon.
5.2 Scoring van antwoorden
Naarmate het scoringsproces meer gebaseerd is op de subjectieve oordeelsvorming, geven scores
een grotere foutenmarge. De beoordeling van essays en teksten is subjectiever en meer voor
discussie vatbaar dan die van een repetitie scheikunde. Hieronder volgt het onderscheid tussen
scoring van reacties op items met open-vraagvorm en geprecodeerde items.
- Scoring van reacties op items met open-vraagvorm Kunnen zowel verbaal als niet-verbaal
zijn(laatste bv bij een intelligentietest). Hier dreigen de gevaren van subjectiviteit en lage
overeenstemming tussen beoordelaars. De gevaren kunnen worden gereduceerd door een zo goed
mogelijk coderingssysteem. Dit is een stelsels van regels en voorschriften dat volledig duidelijk en
ondubbelzinnig is. Zonder betrouwbare gegevens is het onmogelijk tot zinvolle uitspraken en
voorspellingen te komen en leiden tot een lage validiteit. Een nuttig coderingssysteem is de checklist.
Het voordeel is dat de beoordelaars houvast hebben en dat alle proefpersonen op dezelfde aspecten
worden beoordeeld. Om standaardisatie te verbeteren moeten beoordelaars vooraf goede instructies
krijgen en de gelegenheid krijgen om te oefenen. Een hoge overeenstemming leidt overigens niet
automatisch tot een goede validiteit. Of het gedrag namelijk kenmerkend is voor de eigenschap die
men wil meten is een andere kwestie, dus hoge overeenstemming is wel een noodzakelijke maar niet
voldoende voorwaarde voor de validiteit. Een checklist is dus te beschouwen als een test en hieraan
dienen dezelfde kwaliteitseisen gesteld te worden.
- Scoring van reacties op geprecodeerde items De voornaamste zorg bij de scoring van
meerkeuzevragen betreft de nauwkeurigheid en de efficiëntie. Dit houdt in dat het correctiesysteem zo
min mogelijk fouten mag toestaan, terwijl tijd en kosten per formulier minimaal zijn. Drie mogelijkheden
zijn: handscoring, zelfscoring, en machinale scoring.
Het meest bewerkelijk is de methode van de handscoring Correctoren tellen het aantal goed en
fout en eventueel overgeslagen/onvoltooide opgaven. Ze vergelijken dit met een correcte
antwoordsleutel. De voornaamste problemen bij handscoring vormen de tijdsduur en de correctie van
gemaakte fouten.
De verouderde methode zelfscoring kent meerdere versies. De meest voorkomende vorm is die
waarbij onder het antwoordformulier een tweede vel wordt geplaatst, waarop cirkels en vierkantjes
zodanig zijn aangebracht dat ze precies vallen onder plaatsen waar het antwoord op moet worden
aangestreept. Via een doordrukprocedé wordt de scoring direct op dit formulier geregistreerd. De
corrector hoeft alleen de markeringen in de cirkeltje of vierkantjes op te tellen. Dit is sneller en
efficiënter dan de handcorrectie, maar wel duurder.
De snelste methode is uiteraard de machinescoring. Op speciale antwoordformulieren moet de
persoon met een potloodstreepje aangeven wat het juiste antwoord is en deze worden machinaal
geregistreerd en verwerkt(ons systeem!). Dit kan ook via een beeldscherm. De computer kan naast
info per persoon ook indicaties geven over de test zelf en over de groep als geheel.
5.2.3 Toevalscorrectie
Bezwaar tegen meerkeuzevragen is dat de pp door te gokken een hogere score kan krijgen. Hiervoor
dienen correcties te worden ingezet die achteraf moeten worden uitgevoerd. De eenvoudigste
methode: Een deel van het totale aantal goede antwoorden X is door kennis en een ander deel door
gokken tot stand gekomen. We willen eigenlijk weten wat het aantal goede antwoorden is door louter
kennis(Xc), waarbij de c staat voor corrected.
Xc = X - (k-X) / (A-1),
Waarbij X = totaal aantal goed, k = aantal items.
Op hetzelfde principe is een correctie gebaseerd waarbij een persoon voor niet-beantwoorde items
5.1 Tests afnemen
Een tests lijkt op het eerste gezicht misschien eenvoudig, maar is in werkelijkheid een complex
proces. Ten eerste kan de testsituatie variëren van zakelijk neutraal tot een vorm van onderzoek die
zowel van proefpersoon als proefleider een hoge mate van persoonlijke inzet vereist, bv een
rollenspel. Ten tweede verschillen de onderzochten in motivatie, samenwerking, onbevangenheid en
andere eigenschappen die de relatie met de testleider beïnvloeden. Probleem daarbij vormt de
testervaring of 'test-wiseness'. Proefleiders vormen ook geen constante factor in de testsituatie. De
kunnen variëren in training, ervaring, inzicht, sensitiviteit en bereidheid tot contact. Ten slotte is er een
grote variëteit in instructietechniek en hoeveelheid oefening die voor het afnemen van een test nodig
zijn. Sommige tests kun je na korte kennisname af nemen, maar sommige vereisen lange training, bv
RAKIT.
Alleen in een gestandaardiseerde testsituatie kunnen de waargenomen verschillen in testgedrag
tussen proefpersonen echt worden toegeschreven aan henzelf. Bv een instructie die niet voor elke pp
gelijk is, vormt al een bron van verschil in testprestatie die bv niet kan worden toegeschreven aan de
persoonlijkheidstrek die de test meet. We gaan nu in op aspecten van standaardisatie:
- De objectieve testsituatie Onderzochten worden in maximaal gelijke omstandigheden getest. Goed
uitgewerkte instructie en de eis om je hieraan te houden. Zowel bij groeps- als individuele tests. Bij
tests met een snelheidskarakter is een combi van concentratie met snelheid vereist, dus is lawaai
funest.
- Gedrag van de proefpersoon Situatie waarin pp zich verkeert wil men zo constant mogelijk
houden. Niet altijd mogelijk vermoeid, afvragen wat er van hem/haar wordt verwacht, sociale
wenselijkheid. Sommige factoren zijn tot op zekere hoogte controleerbaar, bv erop toezien dat pp de
opdracht snapt. Door ervaring of training kan men echter een zekere vertrouwdheid met het testen
hebben en ook kan verwachting mbt moeilijkheid invloed hebben. Veel zal afhangen van de
deskundigheid van de proefleider. Het beste gebeurt dit in een normale, natuurlijke relatie tussen
proefleider en proefpersoon. Moeilijker te beïnvloeden is de motivatie. De proefleider moet streven
naar een ongedwongen relatie met de onderzochte. Soms wordt het doel van het onderzoek niet door
de onderzochte erkend, waardoor deze niet gemotiveerd is. Bovendien vormt diegene vrijwel altijd een
idee over de bedoeling van de test. Ook angst voor de gevolgen van een slechte prestatie spelen een
rol testangst(state anxiety). Pos vs neg faalangst. Een geringe mate van angst is bevorderlijk, maar
zeer sterk is schadelijk.
- Gedrag van de proefleider Problemen met standaardisatie van het gedrag van de testleider speelt
vooral een rol bij individuele tests, omdat hier een wisselwerking is tussen testleider en proefpersoon.
De variatie in gedrag van de testleider kan echter makkelijker worden gecontroleerd dan die van de
onderzochte. De testleider moet ernaar streven om de testinstructie zo goed mogelijk te kennen en
naar de letter te volgen. Minder eenvoudig ligt het bij psychologische mechanismen, zoals
vooroordelen etc. Hij moet zich dwingen tot strikte zelfcontrole en zelfcorrectie. Toch blijven subtiele
kenmerken een rol spelen, zoals uiterlijk, sekse, leeftijd van de onderzochte en persoonskenmerken
van de testleider.
Hoe kan men zulke problemen ondervangen? Dit hangt af van het belang van het testonderzoek.
Voorspellende uitspraken die van groot belang zijn voor het individu of voor een selecterende
organisatie vereisen een stevigere basis dan de klinisch-intuïtieve benadering. Het beste kan men een
, zo normaal mogelijke relatie opbouwen met een positieve,stimulerende en vriendelijke toon.
5.2 Scoring van antwoorden
Naarmate het scoringsproces meer gebaseerd is op de subjectieve oordeelsvorming, geven scores
een grotere foutenmarge. De beoordeling van essays en teksten is subjectiever en meer voor
discussie vatbaar dan die van een repetitie scheikunde. Hieronder volgt het onderscheid tussen
scoring van reacties op items met open-vraagvorm en geprecodeerde items.
- Scoring van reacties op items met open-vraagvorm Kunnen zowel verbaal als niet-verbaal
zijn(laatste bv bij een intelligentietest). Hier dreigen de gevaren van subjectiviteit en lage
overeenstemming tussen beoordelaars. De gevaren kunnen worden gereduceerd door een zo goed
mogelijk coderingssysteem. Dit is een stelsels van regels en voorschriften dat volledig duidelijk en
ondubbelzinnig is. Zonder betrouwbare gegevens is het onmogelijk tot zinvolle uitspraken en
voorspellingen te komen en leiden tot een lage validiteit. Een nuttig coderingssysteem is de checklist.
Het voordeel is dat de beoordelaars houvast hebben en dat alle proefpersonen op dezelfde aspecten
worden beoordeeld. Om standaardisatie te verbeteren moeten beoordelaars vooraf goede instructies
krijgen en de gelegenheid krijgen om te oefenen. Een hoge overeenstemming leidt overigens niet
automatisch tot een goede validiteit. Of het gedrag namelijk kenmerkend is voor de eigenschap die
men wil meten is een andere kwestie, dus hoge overeenstemming is wel een noodzakelijke maar niet
voldoende voorwaarde voor de validiteit. Een checklist is dus te beschouwen als een test en hieraan
dienen dezelfde kwaliteitseisen gesteld te worden.
- Scoring van reacties op geprecodeerde items De voornaamste zorg bij de scoring van
meerkeuzevragen betreft de nauwkeurigheid en de efficiëntie. Dit houdt in dat het correctiesysteem zo
min mogelijk fouten mag toestaan, terwijl tijd en kosten per formulier minimaal zijn. Drie mogelijkheden
zijn: handscoring, zelfscoring, en machinale scoring.
Het meest bewerkelijk is de methode van de handscoring Correctoren tellen het aantal goed en
fout en eventueel overgeslagen/onvoltooide opgaven. Ze vergelijken dit met een correcte
antwoordsleutel. De voornaamste problemen bij handscoring vormen de tijdsduur en de correctie van
gemaakte fouten.
De verouderde methode zelfscoring kent meerdere versies. De meest voorkomende vorm is die
waarbij onder het antwoordformulier een tweede vel wordt geplaatst, waarop cirkels en vierkantjes
zodanig zijn aangebracht dat ze precies vallen onder plaatsen waar het antwoord op moet worden
aangestreept. Via een doordrukprocedé wordt de scoring direct op dit formulier geregistreerd. De
corrector hoeft alleen de markeringen in de cirkeltje of vierkantjes op te tellen. Dit is sneller en
efficiënter dan de handcorrectie, maar wel duurder.
De snelste methode is uiteraard de machinescoring. Op speciale antwoordformulieren moet de
persoon met een potloodstreepje aangeven wat het juiste antwoord is en deze worden machinaal
geregistreerd en verwerkt(ons systeem!). Dit kan ook via een beeldscherm. De computer kan naast
info per persoon ook indicaties geven over de test zelf en over de groep als geheel.
5.2.3 Toevalscorrectie
Bezwaar tegen meerkeuzevragen is dat de pp door te gokken een hogere score kan krijgen. Hiervoor
dienen correcties te worden ingezet die achteraf moeten worden uitgevoerd. De eenvoudigste
methode: Een deel van het totale aantal goede antwoorden X is door kennis en een ander deel door
gokken tot stand gekomen. We willen eigenlijk weten wat het aantal goede antwoorden is door louter
kennis(Xc), waarbij de c staat voor corrected.
Xc = X - (k-X) / (A-1),
Waarbij X = totaal aantal goed, k = aantal items.
Op hetzelfde principe is een correctie gebaseerd waarbij een persoon voor niet-beantwoorde items
