Psychometrie en besliskunde HC 9
Transcriptie HC 9
PPT HC 9 en HC 10
Validiteit
Dia 1:
We gaan naar het laaste blok, validiteit.
Dia 2:
Dit is een slide die leontien eigenlijk al had laten zien in het tweede college op het eind als een soort
overview van de hele cursus. Ik pak even heel snel de draad op en tegelijkertijd verwijs ik toch ook
weer naar wat vorig jaar in IWO besproken is. Want daar zit natuurlijk ook een stukje overlap mee.
Overlap vind ik overigens nooit zo erg in een opleiding want soms zijn dingen zover weggezakt dat
het helemaal niet gek is dat je even weer een paar termen terug hoort. Dus dubbelop is niet erg.
Maar als we even naar het plaatje hebben. Bij validiteit hebben we het over, meten we het goede?
Zitten we in de roos? Hebben we met datgene dat we meten, datgene wat we beogen te meten? En
dat is hier het geval (wijst naar bovenste plaatje op de dia). Als dit (het dikke zwarte puntje) is wat we
beogen te meten dan zitten we met onze metingen, onze waargenomen scores, allemaal best wel
lekker in de buurt. En lekker in de buurt wilt ook zeggen dat dit betrouwbaar is want dit had nog veel
verder van je doel af kunnen zitten iedere keer.
(wijst naar tweede plaatje) Hier niet. Hier zit je er systematisch naast. Als je er systematisch naast zit,
dus als het niet een kwestie is van random meetfouten, dan hebben we het over validiteit. Meet je
hetgeen wat je wilt meten.
Er zijn een aantal soorten van validiteit. Als je het hebt over validiteit, dan heb ik vorig jaar wel een
stuk of 20 termen genoemd die je in de literatuur allemaal tegenkomt. Het hangt een beetje af van
wie het boek schrijft, in welke onderzoekstraditie dat hij zit, welke termen hij gebruikt. Dat is bij
betrouwbaarheid beduidend minder. Daar hebben we veel meer eensgezindheid over de
terminologie die er is. Maar goed, iedereen heeft het wel bij validiteit over geldigheid en meten we
datgene dat we willen meten. (wijst naar dia) En deze drie zie je toch wel heel vaak terug in allerlei
boeken.
Inhoudsvaliditeit: denkt het instrument de lading? Wij proberen om het tentamen inhoudsvalide te
maken zodat jullie echt heel netjes verspreid over de stof type vragen, moeilijkheidsgraad
gevarieerd. Dus wij proberen een inhoudsvalide tentamen te maken.
Bij criterium validiteit, dan gaat het erover, kan ik met dit type instrument een ander type gedrag,
een extern criterium voorspellen. Heeft vaak een hele hoge mate van praktische toepassing. Een
toets die je afneemt om bijv. te kijken of iemand inderdaad schoolgeschikt is en welk middelbare
schooltype het best voor deze leerling zou zijn. Je moet ook zegmaar met je auto of met je motor op
een afgesloten terrein oefenen om te laten zien dat je geschikt bent om de weg op te gaan. Dan
hoop je dat dat examentje dat je daar doet ook criteriumvalide is. En dan kan het zijn dat het
criterium in de tegenwoordige tijd zit of in de toekomst. Ik zou hier nu niet al te veel over zeggen.
Dan gaan we naar het laatste blok en daar gaan we een start mee maken, begripsvaliditeit. Bij
begripsvaliditeit gaat het over, heb je het goed geoperationaliseerd. Is datgene wat ik gemeten heb,
hoe verhoud zich dat tot andere begrippen in de literatuur. Dus daar is het theoretisch kader heel erg
1
, Psychometrie en besliskunde HC 9
van belang. Op 2 manieren. Enerzijds over wat het begrip zelf is, maar anderzijds ook hoe het begrip
zich verhoud tot andere begrippen in de literatuur. Dat kan van alles zijn. Dat mogen begrippen zijn
die totaal anders zijn. Want als jij in de literatuur leest dat geslacht een rol speelt, dat vrouwen hoger
scoren op jouw variabele, datgeen wat je meet, dan mannen. Dan is onderzoek waarin je dat in feite
bevestigd is een klein stukje bewijs voor de begripsvaliditeit. Dat kunnen dit soort
achtergrondvariabele zijn maar dat kunnen ook andere variabele zijn. Als ik bijv. openheid wil meten
en ik heb in de literatuur gelezen dat introverte mensen meer open zijn dan hoop je dus dat je in
jouw onderzoek daar een bevestiging van vindt. En dat mensen die neurotiser zijn dat die minder
open zijn. Al die kleine stukjes over het conceptueelmodel waar jij gebruik van maakt, waar jij over
gelezen hebt, die bevestigen dat. En dan zijn er soorten onderzoek waarmee je dat dus kunt
bevestigen. En dat begint al met de kwaliteit van de items. En dan komen we op de colleges die
Leontien gegeven heeft. Is het zodanig geoperationaliseerd dat ik datgene meet wat ik beoogd te
meten? Kwaliteit van de items is een van die punten waar naar gekeken wordt als we het hebben
over de begripsvaliditeit. Deze daar ga ik vandaag mee beginnen en dat zal 1,5 bijeenkomst zijn.
Factoranalyse, dimensionaliteitsonderzoek (PCA).
Dan krijgen we multi-trait-multi-method matrixen. Dat is onderzoek waarbij je dus inderdaad kijkt
naar wat wil ik meten. Als ik inderdaad openheid wil meten is er dan misschien al een andere schaal
ontwikkeld voor openheid. Want als het dan goed zou zijn dan hoop je natuurlijk dat met de
vragenlijst die ik ontwikkeld heb, dat het zo is dat de mensen die bij mij hoog scoren dat op die
bestaande lijst ook doen. Dus je hoopt eigenlijk dat dat convergeert, dat dat samengaat. Omgekeerd
hoop je dat als je een vragenlijst hebt wat totaal iets anders meet, die negatieve samenhang meet,
dat je dan ook negatieve correlaties ziet. Bij MTMM onderzoek doe je eigenlijk wat het zegt. Je kijkt
naar meerdere begrippen en je gebruikt meerdere methoden. En op basis daarvan, door die
combinatie probeer je eigenlijk die vooraf opgestelde hypothese over de samenhang die je verwacht,
bevestigd te krijgen. Dat doen we volgende week in het tweede gedeelte van de bijeenkomst.
Dia 3:
Dan beginnen we met die begripsvaliditeit met principale componenten analyse. PCA is een vorm van
een factoranalyse. Daarmee probeer je eigenlijk, je hebt een vragenlijst ontwikkeld, die bestaat uit
een groot aantal items, en jij denkt dat je met die vragenlijst één dimensie meet, bijv. Openheid of
neurotisisme. Of je meet misschien wel met jouw vragenlijst 2 dimensies, bijv. Intrinsieke motivatie
en extrinsieke motivatie. Deze analyse techniek, factoranalyse, is bedoelt om te kijken of jij
inderdaad subdomeinen, dimensies, mag onderscheiden in jouw vragenlijst. Dat kan er eentje zijn.
Passen al jouw items bij elkaar, horen die bij elkaar en meet je daar datgene mee wat je wilt meten.
Of zijn het meerdere dimensies. Dat is een spel, als we het hebben over PCA, van de cijfers en de
inhoud. Nou is PCA een van de vormen van factoranalyse. Dat is een exploratieve vorm van
factoranalyse. En er zijn ook wel mensen die zeggen, wij vinden dat geen factoranalyse. Die vinden
het pas factoranalyse als je toetst of datgene wat je ontwikkeld hebt ook letterlijk die structuur heeft,
want we praten over de structuur van een vragenlijst, zoals je die beoogd. Dat is net een twee drie
stapjes verder. Want je zou je voor kunnen stellen dat als je een vragenlijst maakt dat je de eerste 10
items maakt om extrinsieke motivatie te maken en de tweede 10 om intrinsieke motivatie te maken.
Dan zeg je letterlijk tegen jouw software pakket, en dat gaat niet in SPSS dat is ook een reden
waarom ik heb gekozen voor PCA, is het zo dat die 10 bij elkaar horen en die 10 bij elkaar horen. Dan
ben je veel meer gericht aan het kijken en inderdaad aan het toetsen of datgene wat jij vindt dat bij
elkaar hoort of dat ook zo is. Dan wordt er ook netjes een fit uitgerekend hoe goed je model is.
Terwijl bij de exploratieve variant daar zul je eerst gaan kijken naar hoeveel componenten zitten er
eigenlijk in deze vragenlijst. En dan hoop je misschien wel 1 of 2. En welke items behoren daar dan
2
Transcriptie HC 9
PPT HC 9 en HC 10
Validiteit
Dia 1:
We gaan naar het laaste blok, validiteit.
Dia 2:
Dit is een slide die leontien eigenlijk al had laten zien in het tweede college op het eind als een soort
overview van de hele cursus. Ik pak even heel snel de draad op en tegelijkertijd verwijs ik toch ook
weer naar wat vorig jaar in IWO besproken is. Want daar zit natuurlijk ook een stukje overlap mee.
Overlap vind ik overigens nooit zo erg in een opleiding want soms zijn dingen zover weggezakt dat
het helemaal niet gek is dat je even weer een paar termen terug hoort. Dus dubbelop is niet erg.
Maar als we even naar het plaatje hebben. Bij validiteit hebben we het over, meten we het goede?
Zitten we in de roos? Hebben we met datgene dat we meten, datgene wat we beogen te meten? En
dat is hier het geval (wijst naar bovenste plaatje op de dia). Als dit (het dikke zwarte puntje) is wat we
beogen te meten dan zitten we met onze metingen, onze waargenomen scores, allemaal best wel
lekker in de buurt. En lekker in de buurt wilt ook zeggen dat dit betrouwbaar is want dit had nog veel
verder van je doel af kunnen zitten iedere keer.
(wijst naar tweede plaatje) Hier niet. Hier zit je er systematisch naast. Als je er systematisch naast zit,
dus als het niet een kwestie is van random meetfouten, dan hebben we het over validiteit. Meet je
hetgeen wat je wilt meten.
Er zijn een aantal soorten van validiteit. Als je het hebt over validiteit, dan heb ik vorig jaar wel een
stuk of 20 termen genoemd die je in de literatuur allemaal tegenkomt. Het hangt een beetje af van
wie het boek schrijft, in welke onderzoekstraditie dat hij zit, welke termen hij gebruikt. Dat is bij
betrouwbaarheid beduidend minder. Daar hebben we veel meer eensgezindheid over de
terminologie die er is. Maar goed, iedereen heeft het wel bij validiteit over geldigheid en meten we
datgene dat we willen meten. (wijst naar dia) En deze drie zie je toch wel heel vaak terug in allerlei
boeken.
Inhoudsvaliditeit: denkt het instrument de lading? Wij proberen om het tentamen inhoudsvalide te
maken zodat jullie echt heel netjes verspreid over de stof type vragen, moeilijkheidsgraad
gevarieerd. Dus wij proberen een inhoudsvalide tentamen te maken.
Bij criterium validiteit, dan gaat het erover, kan ik met dit type instrument een ander type gedrag,
een extern criterium voorspellen. Heeft vaak een hele hoge mate van praktische toepassing. Een
toets die je afneemt om bijv. te kijken of iemand inderdaad schoolgeschikt is en welk middelbare
schooltype het best voor deze leerling zou zijn. Je moet ook zegmaar met je auto of met je motor op
een afgesloten terrein oefenen om te laten zien dat je geschikt bent om de weg op te gaan. Dan
hoop je dat dat examentje dat je daar doet ook criteriumvalide is. En dan kan het zijn dat het
criterium in de tegenwoordige tijd zit of in de toekomst. Ik zou hier nu niet al te veel over zeggen.
Dan gaan we naar het laatste blok en daar gaan we een start mee maken, begripsvaliditeit. Bij
begripsvaliditeit gaat het over, heb je het goed geoperationaliseerd. Is datgene wat ik gemeten heb,
hoe verhoud zich dat tot andere begrippen in de literatuur. Dus daar is het theoretisch kader heel erg
1
, Psychometrie en besliskunde HC 9
van belang. Op 2 manieren. Enerzijds over wat het begrip zelf is, maar anderzijds ook hoe het begrip
zich verhoud tot andere begrippen in de literatuur. Dat kan van alles zijn. Dat mogen begrippen zijn
die totaal anders zijn. Want als jij in de literatuur leest dat geslacht een rol speelt, dat vrouwen hoger
scoren op jouw variabele, datgeen wat je meet, dan mannen. Dan is onderzoek waarin je dat in feite
bevestigd is een klein stukje bewijs voor de begripsvaliditeit. Dat kunnen dit soort
achtergrondvariabele zijn maar dat kunnen ook andere variabele zijn. Als ik bijv. openheid wil meten
en ik heb in de literatuur gelezen dat introverte mensen meer open zijn dan hoop je dus dat je in
jouw onderzoek daar een bevestiging van vindt. En dat mensen die neurotiser zijn dat die minder
open zijn. Al die kleine stukjes over het conceptueelmodel waar jij gebruik van maakt, waar jij over
gelezen hebt, die bevestigen dat. En dan zijn er soorten onderzoek waarmee je dat dus kunt
bevestigen. En dat begint al met de kwaliteit van de items. En dan komen we op de colleges die
Leontien gegeven heeft. Is het zodanig geoperationaliseerd dat ik datgene meet wat ik beoogd te
meten? Kwaliteit van de items is een van die punten waar naar gekeken wordt als we het hebben
over de begripsvaliditeit. Deze daar ga ik vandaag mee beginnen en dat zal 1,5 bijeenkomst zijn.
Factoranalyse, dimensionaliteitsonderzoek (PCA).
Dan krijgen we multi-trait-multi-method matrixen. Dat is onderzoek waarbij je dus inderdaad kijkt
naar wat wil ik meten. Als ik inderdaad openheid wil meten is er dan misschien al een andere schaal
ontwikkeld voor openheid. Want als het dan goed zou zijn dan hoop je natuurlijk dat met de
vragenlijst die ik ontwikkeld heb, dat het zo is dat de mensen die bij mij hoog scoren dat op die
bestaande lijst ook doen. Dus je hoopt eigenlijk dat dat convergeert, dat dat samengaat. Omgekeerd
hoop je dat als je een vragenlijst hebt wat totaal iets anders meet, die negatieve samenhang meet,
dat je dan ook negatieve correlaties ziet. Bij MTMM onderzoek doe je eigenlijk wat het zegt. Je kijkt
naar meerdere begrippen en je gebruikt meerdere methoden. En op basis daarvan, door die
combinatie probeer je eigenlijk die vooraf opgestelde hypothese over de samenhang die je verwacht,
bevestigd te krijgen. Dat doen we volgende week in het tweede gedeelte van de bijeenkomst.
Dia 3:
Dan beginnen we met die begripsvaliditeit met principale componenten analyse. PCA is een vorm van
een factoranalyse. Daarmee probeer je eigenlijk, je hebt een vragenlijst ontwikkeld, die bestaat uit
een groot aantal items, en jij denkt dat je met die vragenlijst één dimensie meet, bijv. Openheid of
neurotisisme. Of je meet misschien wel met jouw vragenlijst 2 dimensies, bijv. Intrinsieke motivatie
en extrinsieke motivatie. Deze analyse techniek, factoranalyse, is bedoelt om te kijken of jij
inderdaad subdomeinen, dimensies, mag onderscheiden in jouw vragenlijst. Dat kan er eentje zijn.
Passen al jouw items bij elkaar, horen die bij elkaar en meet je daar datgene mee wat je wilt meten.
Of zijn het meerdere dimensies. Dat is een spel, als we het hebben over PCA, van de cijfers en de
inhoud. Nou is PCA een van de vormen van factoranalyse. Dat is een exploratieve vorm van
factoranalyse. En er zijn ook wel mensen die zeggen, wij vinden dat geen factoranalyse. Die vinden
het pas factoranalyse als je toetst of datgene wat je ontwikkeld hebt ook letterlijk die structuur heeft,
want we praten over de structuur van een vragenlijst, zoals je die beoogd. Dat is net een twee drie
stapjes verder. Want je zou je voor kunnen stellen dat als je een vragenlijst maakt dat je de eerste 10
items maakt om extrinsieke motivatie te maken en de tweede 10 om intrinsieke motivatie te maken.
Dan zeg je letterlijk tegen jouw software pakket, en dat gaat niet in SPSS dat is ook een reden
waarom ik heb gekozen voor PCA, is het zo dat die 10 bij elkaar horen en die 10 bij elkaar horen. Dan
ben je veel meer gericht aan het kijken en inderdaad aan het toetsen of datgene wat jij vindt dat bij
elkaar hoort of dat ook zo is. Dan wordt er ook netjes een fit uitgerekend hoe goed je model is.
Terwijl bij de exploratieve variant daar zul je eerst gaan kijken naar hoeveel componenten zitten er
eigenlijk in deze vragenlijst. En dan hoop je misschien wel 1 of 2. En welke items behoren daar dan
2
