Colleges Meten en Diagnostiek 2
,College 1 Meten in de psychologie
COTAN
1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal
3. Kwaliteit van de handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit
WAT IS METEN
Twee benaderingen van meten (staat niet in boek):
1> Representational measurement
> Bijvoorbeeld: hoogte
> Een voorwerp heeft een bepaalde hoogte
> De hoogte kunnen we observeren
1. Twee voorwerpen kunnen we vergelijken (“groter dan”, “gelijk”, “kleiner dan”)
2. Twee voorwerpen zijn te combineren en te vergelijken met een derde
Vervolgens ga je getallen toekennen, zodanig dat de relaties die geleden voor je
observaties (“groter dan”, “gelijk”, “kleiner dan”) ook gelden voor de getallen.
2> Pragmatic measurement (zie verderop)
REPRESENTATIONAL VS. PRAGMATIC MEASUREMENT
> Bestaan deze constructen?
> Representeert de score iets?
> Wat is de eenheid waarin we meten?
Conclusie: representational measurement werkt niet in de sociale wetenschappen.
In plaats daarvan: pragmatic measurement
PRAGMATIC MEASUREMENT
Kline:
> 1. Maak duidelijk wat je wilt meten: conceptual definition
> 2. Vertaal de het construct in een goede operational definition
(Kline, blz. 2)
Zie COTAN hoofdstuk 1
Op basis van één vraag uit de COTAN kan een beoordeling al onvoldoende zijn.
IDENTIFYING THE CONSTRUCT
Wat we zouden willen meten:
> Construct
> “An idea or perception resulting from a synthesis about a series of impressions”
> Niet direct observeerbaar
> Latente variabele
> In schema’s weergegeven met een cirkel
,Wat we kunnen meten:
> Observeerbare gedrag
> Bijv. antwoorden op vragen
> Beoordelen van gedrag
> Manifeste variabele
> In schema’s weergegeven met een vierkant
> Wat je zou willen weten:
> Score bij cirkel
> de bovenste horizontale pijl
> Wat je kan uitrekenen:
> Score bij vierkant
> de onderste horizontale pijl
> Hoe goed is de onderkant van het figuur een weergave van de bovenkant? M.a.w. hoe goed is
een testscore een weergave van het gedrag dat je wilt meten? Welkom bij M&D2!
> Contamination vervuiling
> Deficiency tekortkoming
> Meet een test één of meerdere constructen?
> De vraag hierbij is: is het samenvatten van veel observaties in één score adequaat voor
het gebruik van de test? Of zijn er meerdere (deel)scores voor nodig?
> Hier komen we nog uitgebreid op terug bij begripsvaliditeit
MEETNIVEAUS
Het onderscheid van de verschillende soorten meetniveaus is bedacht toen representational
measurement niet bleek te werken in psychologie.
Verschillende soorten meetniveau’s:
> Ratio, Interval , Ordinaal, Nominaal
VERONDERSTELDE KENNIS STATISTIEK
Hoe goed is een testscore een weergave van het gedrag dat je wilt meten?
De beantwoording gaat over
> de nauwkeurigheid (betrouwbaarheid) de consistentie van de meting
> de inhoud (validiteit) in welke mate meet de test wat deze beoogt te meten
De procedures om de betrouwbaarheid en validiteit aan te tonen maken gebruik van statistische
technieken.
, Kline herhaalt in H1 een aantal begrippen:
> Normale verdeling
> Kansen
> Significantie toetsing
> Steekproef- en steekproevenverdeling
> Correlatie
> Lineaire regressie
> Standaardiseren
Dit is veronderstelde voorkennis (1e jaar).
> Blackboardtoets!
College 2 Items schrijven en schalen
IDENTIFYING THE CONSTRUCT
Vorige college: wat hoort wel en wat hoort niet bij het construct?
> Contamination (vervuiling)
> Deficiency (tekortkoming)
Het beschrijven van de onderdelen van het construct is een proces
> Meestal combinatie van theorie en empirie
Theorie:
> Literatuuronderzoek
> Experts bevragen
Empirie:
> De vraag die bij het empirisch onderzoek centraal staat is: functioneert een item volgens
het beoogde doel
> Een aantal voorbeelden van het onderzoek naar stimuli:
Merk op:
Je kunt stimuli ordenen
> van aantrekkelijk naar onaantrekkelijk
> van zeldzaam naar gebruikelijk (symptomen bij
stoornissen)
> van moeilijk naar makkelijk (vraagstukken bij een
intelligentietest) enz.
Merk op:
Hier zijn beoordelaars bij betrokken.
> Ze zijn het niet allemaal met elkaar eens
> Dat de ene beoordelaar strenger is dan de andere
wordt
> In dit geval genegeerd
> Maakt in dit geval ook niet zoveel uit, omdat alle
beoordelaars alle kandidaten beoordelen
,College 1 Meten in de psychologie
COTAN
1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal
3. Kwaliteit van de handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit
WAT IS METEN
Twee benaderingen van meten (staat niet in boek):
1> Representational measurement
> Bijvoorbeeld: hoogte
> Een voorwerp heeft een bepaalde hoogte
> De hoogte kunnen we observeren
1. Twee voorwerpen kunnen we vergelijken (“groter dan”, “gelijk”, “kleiner dan”)
2. Twee voorwerpen zijn te combineren en te vergelijken met een derde
Vervolgens ga je getallen toekennen, zodanig dat de relaties die geleden voor je
observaties (“groter dan”, “gelijk”, “kleiner dan”) ook gelden voor de getallen.
2> Pragmatic measurement (zie verderop)
REPRESENTATIONAL VS. PRAGMATIC MEASUREMENT
> Bestaan deze constructen?
> Representeert de score iets?
> Wat is de eenheid waarin we meten?
Conclusie: representational measurement werkt niet in de sociale wetenschappen.
In plaats daarvan: pragmatic measurement
PRAGMATIC MEASUREMENT
Kline:
> 1. Maak duidelijk wat je wilt meten: conceptual definition
> 2. Vertaal de het construct in een goede operational definition
(Kline, blz. 2)
Zie COTAN hoofdstuk 1
Op basis van één vraag uit de COTAN kan een beoordeling al onvoldoende zijn.
IDENTIFYING THE CONSTRUCT
Wat we zouden willen meten:
> Construct
> “An idea or perception resulting from a synthesis about a series of impressions”
> Niet direct observeerbaar
> Latente variabele
> In schema’s weergegeven met een cirkel
,Wat we kunnen meten:
> Observeerbare gedrag
> Bijv. antwoorden op vragen
> Beoordelen van gedrag
> Manifeste variabele
> In schema’s weergegeven met een vierkant
> Wat je zou willen weten:
> Score bij cirkel
> de bovenste horizontale pijl
> Wat je kan uitrekenen:
> Score bij vierkant
> de onderste horizontale pijl
> Hoe goed is de onderkant van het figuur een weergave van de bovenkant? M.a.w. hoe goed is
een testscore een weergave van het gedrag dat je wilt meten? Welkom bij M&D2!
> Contamination vervuiling
> Deficiency tekortkoming
> Meet een test één of meerdere constructen?
> De vraag hierbij is: is het samenvatten van veel observaties in één score adequaat voor
het gebruik van de test? Of zijn er meerdere (deel)scores voor nodig?
> Hier komen we nog uitgebreid op terug bij begripsvaliditeit
MEETNIVEAUS
Het onderscheid van de verschillende soorten meetniveaus is bedacht toen representational
measurement niet bleek te werken in psychologie.
Verschillende soorten meetniveau’s:
> Ratio, Interval , Ordinaal, Nominaal
VERONDERSTELDE KENNIS STATISTIEK
Hoe goed is een testscore een weergave van het gedrag dat je wilt meten?
De beantwoording gaat over
> de nauwkeurigheid (betrouwbaarheid) de consistentie van de meting
> de inhoud (validiteit) in welke mate meet de test wat deze beoogt te meten
De procedures om de betrouwbaarheid en validiteit aan te tonen maken gebruik van statistische
technieken.
, Kline herhaalt in H1 een aantal begrippen:
> Normale verdeling
> Kansen
> Significantie toetsing
> Steekproef- en steekproevenverdeling
> Correlatie
> Lineaire regressie
> Standaardiseren
Dit is veronderstelde voorkennis (1e jaar).
> Blackboardtoets!
College 2 Items schrijven en schalen
IDENTIFYING THE CONSTRUCT
Vorige college: wat hoort wel en wat hoort niet bij het construct?
> Contamination (vervuiling)
> Deficiency (tekortkoming)
Het beschrijven van de onderdelen van het construct is een proces
> Meestal combinatie van theorie en empirie
Theorie:
> Literatuuronderzoek
> Experts bevragen
Empirie:
> De vraag die bij het empirisch onderzoek centraal staat is: functioneert een item volgens
het beoogde doel
> Een aantal voorbeelden van het onderzoek naar stimuli:
Merk op:
Je kunt stimuli ordenen
> van aantrekkelijk naar onaantrekkelijk
> van zeldzaam naar gebruikelijk (symptomen bij
stoornissen)
> van moeilijk naar makkelijk (vraagstukken bij een
intelligentietest) enz.
Merk op:
Hier zijn beoordelaars bij betrokken.
> Ze zijn het niet allemaal met elkaar eens
> Dat de ene beoordelaar strenger is dan de andere
wordt
> In dit geval genegeerd
> Maakt in dit geval ook niet zoveel uit, omdat alle
beoordelaars alle kandidaten beoordelen
