Hoorcolleges Testtheorie en testgebruik
College 1
Testtheorie
Meten van kennis, vaardigheden, eigenschappen, kenmerken en gedrag
o Het ontwikkelen, evalueren en gebruiken van (psychologische) tests
o Onderdeel van de leerlijn methoden
o Belangrijk
o Instrumentarium psychologen
o Beslissingen nemen
o Onderzoek
Literatuur en tentamenstof
Drenth & Sijtsma, 2006. Testtheorie: Inleiding in de theorie van de psychologische test en zijn
toepassingen
o Afleidingen van formules zijn geen tentamenstof
o Zie cursushandleiding voor details
Aanvullend document ‘Factor analysis’
o Brightspace, geel gemarkeerde stukken overslaan
o Alle inhoud colleges
Voorbeeldopgaven op Brightspace
o Opgaven uit boek hoeft u niet te maken
o Na college 6 digitaal voorbeeldtentamen op Nestor
Opdrachten
3 opdrachten
o Ervaring opdoen met analyses & interpretatie.
o Op tijd actief met de stof aan de slag.
Na voorafgaand college nodige stof besproken.
o Inleveren na voorgaand college pas mogelijk.
Individueel opdrachten uitvoeren
Plan op tijd!
o Digitaal inleveren via Brightspace.
o Iedere student levert zijn/haar opdracht in
o Op de voorpagina van de opdracht naam invullen.
Beoordeling: voldoende/onvoldoende
o Voldoende: zinnige en complete antwoorden op alle vragen.
o Onvoldoende: onvolledige antwoorden /“ik weet het niet”/ te laat/niet ingeleverd.
Voldoende voor opdrachten is voorwaarde voor deelname aan tentamen & halen vak.
Feedback: plenair in HC7
Verzoek deelname onderzoek
Valide performance-based assessment
o Effect van verschillende manieren van beoordelen op betrouwbaarheid en validiteit
van opdrachtbeoordelingen in het HO
We vragen consent om:
o Je opdrachten voor dit vak voor onderzoek te gebruiken.
Docenten beoordelen in experimenten, op verschillende manieren
Anoniem
, Experimentele beoordeling telt niet mee, beoordeling in dit vak gaat zoals
altijd
o Je studieresultaten in de Bachelor op te vragen.
o Achtergrondinformatie te verzamelen en te gebruiken.
o Beslissing over deelname geen invloed op beoordeling in vak.
o Zie Brightspace voor uitgebreide informatie.
o Vragen? Mailen naar:
PeerWise
Behoefte meer oefenvragen
o Zelf oefenvragen bedenken
o Elkaars vragen gebruiken om te oefenen
o Feedback geven
o Onderling anoniem (niet voor docenten)
Niet verplicht, wel sterk aanbevolen
o Eén vraag per week bijdragen
Instructies en informatie op Brightspace
o Eenmalig account maken
o Gebruiksnummer en Course ID: 24771
Voorbeeldvragen beschikbaar per hoofdstuk
Labelen per hoofdstuk/onderwerp
Maak meerkeuzevragen met drie antwoordalternatieven
o Eén goede, twee foute antwoorden
Tijdens laatste college: Enkele vragen bespreken
Op tentamen: Ten minste één PeerWisevraag (gebasseerd op).
Vragen over PeerWise?
Formuleblad bij tentamen
Zie nestor
Simpele formules (gemiddelde, standaarddeviatie) moet ut kennen.
Algemene inleiding
Waarom gebruiken psychologen tests?
Welke typen psychologische tests bestaan er?
Hoe wordt een psychologische test geconstrueerd?
Hoe weet je of bepaalde psychologische test een goede test is?
Geschiedenis
McKeen Cattell
o Eerste systematische onderzoek naar kwantificeren van individuele verschillen.
o Eerste hoogleraar psychologie ter wereld (1887)
In 1890 een artikel in Mind
o Voor het eerst het woord ‘test’ gebruikt.
Inleiding (psychologische) tests
, Doel: uitspraak doen die een voorspelling, classificatie of beschrijving mogelijk maakt m.b.t.
het onderzochte individu/de onderzochte groep.
Psychologische tests meten psychologische eigenschappen
o Niet/moeilijk direct observeerbaar
o T.o.v. bijv. lengte
Daarom construeren we indicatoren (items) die gedrag oproepen dat iets zegt over het te
meten construct
o Bijv. intelligentie
o Kan ook om iemands lengte te meten
Voorbeelden van items om lengte te meten:
o Ik stoot vaak mijn hoofd
o Als ik in bed lig heb ik vaak last van koude voeten
o Ik heb moeite om kleren te kopen die groot genoeg zijn
Geen perfecte indicatoren; omslachtig bovenstaande vragen meten lengte, maar er zitten
ook andere constructen in verborgen (zoals koude voeten kan ook slechte doorbloeding zijn)
o Altijd meerdere items nodig de gezamenlijke variantie van deze items nodig om
de lading van het construct te dekken.
Principe komt overeen met hoe we psychologische eigenschappen meten
Testscores zijn geen absolute waarheid
Een psycholoog dient bij voorkeur test tot een oordeel te komen op basis van combinatie van
verschillende waarnemingen.
Geen blind testgebruik, rekening houden met de context en de persoon bij keuze tests.
Maar! Even kritische houding t.o.v. de kwaliteit andere waarnemingen!
o Meer is niet altijd beter
Tests worden heel veel gebruikt
Onderwijs & carrière
o Kennis
o Vaardigheden
o Dyslexie, dyscalculie
o Beroepskeuze
o Intelligentie
o Ontwikkeling
GGZ
o Depressie, neuropsychologie
o Sociale competentie
o Conflicthantering
o Persoonlijkheidstests
o Psychodiagnostiek
o Psychopathologie
Meten in sociale wetenschappen
Bijv. intelligentie
Meetinstrument:
o Test in combinatie met het meetmodel
, o Testscore =
Wat betekenen de metingen?
Testscores: 0, 1, 2, 3, 4 etc.
Criterium: Uitnodigen op gesprek bij 16 of hoger, niet uitnodigen bij 15 of lager
Normen: Scores vergelijken, o.b.v. gemiddelde/spreiding normale verdeling, z-scores
Opfrissen statistische begrippen
Inhoud Appendix wordt bekend verondersteld
Herhaling van belangrijke concepten
Moeite?
o Moore, McCabe & Craig
o Klapper Statistiek 1a (zie Brightspace)
o Oefenopgaven laatste slides HC1
Notatie
k = totaal aantal items in een test
Items kennen indices g en h
o g, h, = 1, …, k
Xg en Xh = scores op items g en h
o Dichotome scores: Xg = 0, 1 maar 2 scores mogelijk (bijv. man/vrouw)
o Polytome scores: Xg = 0, …, m meerdere scores mogelijk
zodat aantal geordende categorieën is m + 1
X = ruwe score (ook wel totaalscore)
o Ongewogen som van de k itemscores in de test
o
Personen worden aangeduid met i
o We gaan uit van scores van n personen i = 1, …, n
Xig = score persoon i op item g
Xi = ruwe testscore van persoon i
VB vragenlijst psychopathologie
Data matrix met item scores
College 1
Testtheorie
Meten van kennis, vaardigheden, eigenschappen, kenmerken en gedrag
o Het ontwikkelen, evalueren en gebruiken van (psychologische) tests
o Onderdeel van de leerlijn methoden
o Belangrijk
o Instrumentarium psychologen
o Beslissingen nemen
o Onderzoek
Literatuur en tentamenstof
Drenth & Sijtsma, 2006. Testtheorie: Inleiding in de theorie van de psychologische test en zijn
toepassingen
o Afleidingen van formules zijn geen tentamenstof
o Zie cursushandleiding voor details
Aanvullend document ‘Factor analysis’
o Brightspace, geel gemarkeerde stukken overslaan
o Alle inhoud colleges
Voorbeeldopgaven op Brightspace
o Opgaven uit boek hoeft u niet te maken
o Na college 6 digitaal voorbeeldtentamen op Nestor
Opdrachten
3 opdrachten
o Ervaring opdoen met analyses & interpretatie.
o Op tijd actief met de stof aan de slag.
Na voorafgaand college nodige stof besproken.
o Inleveren na voorgaand college pas mogelijk.
Individueel opdrachten uitvoeren
Plan op tijd!
o Digitaal inleveren via Brightspace.
o Iedere student levert zijn/haar opdracht in
o Op de voorpagina van de opdracht naam invullen.
Beoordeling: voldoende/onvoldoende
o Voldoende: zinnige en complete antwoorden op alle vragen.
o Onvoldoende: onvolledige antwoorden /“ik weet het niet”/ te laat/niet ingeleverd.
Voldoende voor opdrachten is voorwaarde voor deelname aan tentamen & halen vak.
Feedback: plenair in HC7
Verzoek deelname onderzoek
Valide performance-based assessment
o Effect van verschillende manieren van beoordelen op betrouwbaarheid en validiteit
van opdrachtbeoordelingen in het HO
We vragen consent om:
o Je opdrachten voor dit vak voor onderzoek te gebruiken.
Docenten beoordelen in experimenten, op verschillende manieren
Anoniem
, Experimentele beoordeling telt niet mee, beoordeling in dit vak gaat zoals
altijd
o Je studieresultaten in de Bachelor op te vragen.
o Achtergrondinformatie te verzamelen en te gebruiken.
o Beslissing over deelname geen invloed op beoordeling in vak.
o Zie Brightspace voor uitgebreide informatie.
o Vragen? Mailen naar:
PeerWise
Behoefte meer oefenvragen
o Zelf oefenvragen bedenken
o Elkaars vragen gebruiken om te oefenen
o Feedback geven
o Onderling anoniem (niet voor docenten)
Niet verplicht, wel sterk aanbevolen
o Eén vraag per week bijdragen
Instructies en informatie op Brightspace
o Eenmalig account maken
o Gebruiksnummer en Course ID: 24771
Voorbeeldvragen beschikbaar per hoofdstuk
Labelen per hoofdstuk/onderwerp
Maak meerkeuzevragen met drie antwoordalternatieven
o Eén goede, twee foute antwoorden
Tijdens laatste college: Enkele vragen bespreken
Op tentamen: Ten minste één PeerWisevraag (gebasseerd op).
Vragen over PeerWise?
Formuleblad bij tentamen
Zie nestor
Simpele formules (gemiddelde, standaarddeviatie) moet ut kennen.
Algemene inleiding
Waarom gebruiken psychologen tests?
Welke typen psychologische tests bestaan er?
Hoe wordt een psychologische test geconstrueerd?
Hoe weet je of bepaalde psychologische test een goede test is?
Geschiedenis
McKeen Cattell
o Eerste systematische onderzoek naar kwantificeren van individuele verschillen.
o Eerste hoogleraar psychologie ter wereld (1887)
In 1890 een artikel in Mind
o Voor het eerst het woord ‘test’ gebruikt.
Inleiding (psychologische) tests
, Doel: uitspraak doen die een voorspelling, classificatie of beschrijving mogelijk maakt m.b.t.
het onderzochte individu/de onderzochte groep.
Psychologische tests meten psychologische eigenschappen
o Niet/moeilijk direct observeerbaar
o T.o.v. bijv. lengte
Daarom construeren we indicatoren (items) die gedrag oproepen dat iets zegt over het te
meten construct
o Bijv. intelligentie
o Kan ook om iemands lengte te meten
Voorbeelden van items om lengte te meten:
o Ik stoot vaak mijn hoofd
o Als ik in bed lig heb ik vaak last van koude voeten
o Ik heb moeite om kleren te kopen die groot genoeg zijn
Geen perfecte indicatoren; omslachtig bovenstaande vragen meten lengte, maar er zitten
ook andere constructen in verborgen (zoals koude voeten kan ook slechte doorbloeding zijn)
o Altijd meerdere items nodig de gezamenlijke variantie van deze items nodig om
de lading van het construct te dekken.
Principe komt overeen met hoe we psychologische eigenschappen meten
Testscores zijn geen absolute waarheid
Een psycholoog dient bij voorkeur test tot een oordeel te komen op basis van combinatie van
verschillende waarnemingen.
Geen blind testgebruik, rekening houden met de context en de persoon bij keuze tests.
Maar! Even kritische houding t.o.v. de kwaliteit andere waarnemingen!
o Meer is niet altijd beter
Tests worden heel veel gebruikt
Onderwijs & carrière
o Kennis
o Vaardigheden
o Dyslexie, dyscalculie
o Beroepskeuze
o Intelligentie
o Ontwikkeling
GGZ
o Depressie, neuropsychologie
o Sociale competentie
o Conflicthantering
o Persoonlijkheidstests
o Psychodiagnostiek
o Psychopathologie
Meten in sociale wetenschappen
Bijv. intelligentie
Meetinstrument:
o Test in combinatie met het meetmodel
, o Testscore =
Wat betekenen de metingen?
Testscores: 0, 1, 2, 3, 4 etc.
Criterium: Uitnodigen op gesprek bij 16 of hoger, niet uitnodigen bij 15 of lager
Normen: Scores vergelijken, o.b.v. gemiddelde/spreiding normale verdeling, z-scores
Opfrissen statistische begrippen
Inhoud Appendix wordt bekend verondersteld
Herhaling van belangrijke concepten
Moeite?
o Moore, McCabe & Craig
o Klapper Statistiek 1a (zie Brightspace)
o Oefenopgaven laatste slides HC1
Notatie
k = totaal aantal items in een test
Items kennen indices g en h
o g, h, = 1, …, k
Xg en Xh = scores op items g en h
o Dichotome scores: Xg = 0, 1 maar 2 scores mogelijk (bijv. man/vrouw)
o Polytome scores: Xg = 0, …, m meerdere scores mogelijk
zodat aantal geordende categorieën is m + 1
X = ruwe score (ook wel totaalscore)
o Ongewogen som van de k itemscores in de test
o
Personen worden aangeduid met i
o We gaan uit van scores van n personen i = 1, …, n
Xig = score persoon i op item g
Xi = ruwe testscore van persoon i
VB vragenlijst psychopathologie
Data matrix met item scores
