Testen en meten
Hoorcollege 1
Wat leer je hier?
- Hoe er gemeten wordt in de Pedagogiek en Onderwijswetenschappen
- Kenmerken, onderscheidingen en toepassingen van meetinstrumenten
- De belangrijkste principes van de constructie van een meetinstrument
- De belangrijkste principes van een testafname
- Het verwerken en interpreteren van antwoorden
- De belangrijkste principes bij het bepalen van de kwaliteit van meetinstrumenten
o Standaardisatie
o Objectiviteit
o Normen
o Betrouwbaarheid
o Validiteit
- Communiceren van je bevindingen aan wetenschappers en leken
Testen en meten
- Meetinstrumenten: in de pedagogiek en onderwijswetenschappen meestal een
o Test: de respondent moet zijn best doen (inspanning vereist)
(synoniemen: Maximum perfomance test/ test voor prestatieniveau)
o Vragenlijst: de respondent moet eerlijk zijn
(Synoniemen: typical performance test/ test voor gedragswijze)
- Kennis van testen en meten is extreem belangrijk voor pedagogen en
onderwijswetenschappers
o Bij vrijwel al het onderzoek worden tests of vragenlijsten gebruikt
o Bij heel veel belangrijke beslissingen worden tests of vragenlijsten gebruikt
Opzet van een vragenlijst
(toets en test is hetzelfde)
Bij vragenlijsten en tests wordt aan elk antwoord een score
toegevoegd → de itemscore = score die aan elk antwoord gegeven
wordt (dit is een variabele)
Testscore/ schaalscore = som van de itemscores (dit is ook een
variabele die gebruikt wordt om een begrip te meten)
Beoordelaar: degene die het antwoord omzet in een score
,Testen en meten
Vergelijking met een absolute standaard: is van te voren bepaald, bijvoorbeeld: 0-4 punten: geen
sex-appeal. 5-7 punten: …. Of het citoadvies.
Norm = vergelijking testscore met andere testscores! (testscore afzetten tegen het gemiddelde)
Bijna alle testscores en vragenlijsten in de sociale en gedragswetenschappen gebruiken normen, en
worden dus vergeleken met andere testscores.
Is dit een goede vragenlijst?
- Vragen die je kunt stellen bij de vragenlijst
o Zijn de testscores zinvol te interpreteren?
o Meet de vragenlijst wel dat wat verondersteld wordt te meten?
o Zijn de items van goede kwaliteit?
o Iemand heeft een testscore 4 en een ander heeft een testscore 5. Is dit verschil wel
groot genoeg om een verschil in dat wat gemeten wordt uit te drukken?
o Zijn er wel genoeg items in de vragenlijst?
- Antwoorden
o De kwaliteit kun je deels bepalen zonder afname (kennis en ervaring)
o De kwaliteit kun je deels bepalen door te pre-testen
o De kwaliteit kun je deels alleen bepalen na langdurig onderzoek (€100.000)
- Advies:
o Gebruik ‘indien mogelijk’ bestaande gevalideerde vragenlijsten.
Drie prototypes van
testgebruikers
Er is altijd wel iets mis met een
vragenlijst. Dat wil niet zeggen dat
ze onbruikbaar zijn.
Rode bolletje: iemand die
geïnteresseerd en kritisch is ten
opzichte van het gebruik van
vragenlijsten maar hier wel het
nut van inziet.
Vraagvorm:
- Dichotome items: twee itemscores, bijvoorbeeld Xg (de itemscore van een willekeurig item)
is of 0 of 1
- Polytome items: meer dan twee itemscores, bijvoorbeeld Xg (0, 1, 2, 3, 4,)
Contra indicatieve items → het tegenovergestelde, moeten omgeschoold worden. Bijvoorbeeld
rommelig in een ordelijkheidsschaal.
Testscore:
Berekenen in SPSS: Compute X = sum(georganiseerd to nauwkeurig). Execute.
(alle scores opgeteld)
,Testen en meten
Herhaling statistiek
- Testconstructie maakt gebruik van een groot aantal basisbegrippen uit de statistiek
o Gemiddelde
o Variantie/ standaarddeviatie
o Afwijkingsscores / z-scores
o Covariantie
o Correlatie
o Betrouwbaarheidsinterval
- Nieuwe begrippen:
o Lineaire combinaties
o Lineaire transformaties
als 90% iets goed heeft
dan is de proportie
mensen die het goed
hebben 0.9, dat is de
gemiddelde itemscore.
variantie kun je niet
goed interpreteren.
Heeft iemand boven of
beneden het
gemiddelde gescoord?
Een z-score wordt veel
gebruikt, is heel
informatief.
Toepassen:
standaarddeviatiescore als term bestaat
niet. Of deviatiescore of
standaarddeviatie.
Gemiddelde van deviatiescore is 0, als
je alles bij elkaar optelt is ook 0.
Testscore en deviatiescore hebben
dezelfde standaarddeviatie.
Z-score heeft altijd het gemiddelde van
0 en altijd een standaarddeviatie en
variantie van 1.
, Testen en meten
Oefening:
Als de p waarde dicht
bij 0.5 ligt wordt hij
hoog, afwijkend
hiervan is lager. De
variantie van een item
kan nooit groter
worden dan een kwart!
Samenhang
Correlatie is een maat voor
samenhang. De zwarte scores in
bovenstaande tabel dragen bij aan
de positieve correlatie. Linksboven
en linksonder draagt bij aan een
negatieve samenhang. Draagt
iemand bij aan een positieve of een
negatieve samenhang? Dit
berekenen door de deviatiescores
met elkaar te vermenigvuldigen.
S wordt zowel gebruikt voor covariatie als standaarddeviatie. Je vermenigvuldigd de deviatiescores
met elkaar, telt ze op en deelt ze door het aantal respondenten (je berekent het gemiddelde) →
covariantie.
Hoorcollege 1
Wat leer je hier?
- Hoe er gemeten wordt in de Pedagogiek en Onderwijswetenschappen
- Kenmerken, onderscheidingen en toepassingen van meetinstrumenten
- De belangrijkste principes van de constructie van een meetinstrument
- De belangrijkste principes van een testafname
- Het verwerken en interpreteren van antwoorden
- De belangrijkste principes bij het bepalen van de kwaliteit van meetinstrumenten
o Standaardisatie
o Objectiviteit
o Normen
o Betrouwbaarheid
o Validiteit
- Communiceren van je bevindingen aan wetenschappers en leken
Testen en meten
- Meetinstrumenten: in de pedagogiek en onderwijswetenschappen meestal een
o Test: de respondent moet zijn best doen (inspanning vereist)
(synoniemen: Maximum perfomance test/ test voor prestatieniveau)
o Vragenlijst: de respondent moet eerlijk zijn
(Synoniemen: typical performance test/ test voor gedragswijze)
- Kennis van testen en meten is extreem belangrijk voor pedagogen en
onderwijswetenschappers
o Bij vrijwel al het onderzoek worden tests of vragenlijsten gebruikt
o Bij heel veel belangrijke beslissingen worden tests of vragenlijsten gebruikt
Opzet van een vragenlijst
(toets en test is hetzelfde)
Bij vragenlijsten en tests wordt aan elk antwoord een score
toegevoegd → de itemscore = score die aan elk antwoord gegeven
wordt (dit is een variabele)
Testscore/ schaalscore = som van de itemscores (dit is ook een
variabele die gebruikt wordt om een begrip te meten)
Beoordelaar: degene die het antwoord omzet in een score
,Testen en meten
Vergelijking met een absolute standaard: is van te voren bepaald, bijvoorbeeld: 0-4 punten: geen
sex-appeal. 5-7 punten: …. Of het citoadvies.
Norm = vergelijking testscore met andere testscores! (testscore afzetten tegen het gemiddelde)
Bijna alle testscores en vragenlijsten in de sociale en gedragswetenschappen gebruiken normen, en
worden dus vergeleken met andere testscores.
Is dit een goede vragenlijst?
- Vragen die je kunt stellen bij de vragenlijst
o Zijn de testscores zinvol te interpreteren?
o Meet de vragenlijst wel dat wat verondersteld wordt te meten?
o Zijn de items van goede kwaliteit?
o Iemand heeft een testscore 4 en een ander heeft een testscore 5. Is dit verschil wel
groot genoeg om een verschil in dat wat gemeten wordt uit te drukken?
o Zijn er wel genoeg items in de vragenlijst?
- Antwoorden
o De kwaliteit kun je deels bepalen zonder afname (kennis en ervaring)
o De kwaliteit kun je deels bepalen door te pre-testen
o De kwaliteit kun je deels alleen bepalen na langdurig onderzoek (€100.000)
- Advies:
o Gebruik ‘indien mogelijk’ bestaande gevalideerde vragenlijsten.
Drie prototypes van
testgebruikers
Er is altijd wel iets mis met een
vragenlijst. Dat wil niet zeggen dat
ze onbruikbaar zijn.
Rode bolletje: iemand die
geïnteresseerd en kritisch is ten
opzichte van het gebruik van
vragenlijsten maar hier wel het
nut van inziet.
Vraagvorm:
- Dichotome items: twee itemscores, bijvoorbeeld Xg (de itemscore van een willekeurig item)
is of 0 of 1
- Polytome items: meer dan twee itemscores, bijvoorbeeld Xg (0, 1, 2, 3, 4,)
Contra indicatieve items → het tegenovergestelde, moeten omgeschoold worden. Bijvoorbeeld
rommelig in een ordelijkheidsschaal.
Testscore:
Berekenen in SPSS: Compute X = sum(georganiseerd to nauwkeurig). Execute.
(alle scores opgeteld)
,Testen en meten
Herhaling statistiek
- Testconstructie maakt gebruik van een groot aantal basisbegrippen uit de statistiek
o Gemiddelde
o Variantie/ standaarddeviatie
o Afwijkingsscores / z-scores
o Covariantie
o Correlatie
o Betrouwbaarheidsinterval
- Nieuwe begrippen:
o Lineaire combinaties
o Lineaire transformaties
als 90% iets goed heeft
dan is de proportie
mensen die het goed
hebben 0.9, dat is de
gemiddelde itemscore.
variantie kun je niet
goed interpreteren.
Heeft iemand boven of
beneden het
gemiddelde gescoord?
Een z-score wordt veel
gebruikt, is heel
informatief.
Toepassen:
standaarddeviatiescore als term bestaat
niet. Of deviatiescore of
standaarddeviatie.
Gemiddelde van deviatiescore is 0, als
je alles bij elkaar optelt is ook 0.
Testscore en deviatiescore hebben
dezelfde standaarddeviatie.
Z-score heeft altijd het gemiddelde van
0 en altijd een standaarddeviatie en
variantie van 1.
, Testen en meten
Oefening:
Als de p waarde dicht
bij 0.5 ligt wordt hij
hoog, afwijkend
hiervan is lager. De
variantie van een item
kan nooit groter
worden dan een kwart!
Samenhang
Correlatie is een maat voor
samenhang. De zwarte scores in
bovenstaande tabel dragen bij aan
de positieve correlatie. Linksboven
en linksonder draagt bij aan een
negatieve samenhang. Draagt
iemand bij aan een positieve of een
negatieve samenhang? Dit
berekenen door de deviatiescores
met elkaar te vermenigvuldigen.
S wordt zowel gebruikt voor covariatie als standaarddeviatie. Je vermenigvuldigd de deviatiescores
met elkaar, telt ze op en deelt ze door het aantal respondenten (je berekent het gemiddelde) →
covariantie.
