Verschillen nomothetisch – idiografisch onderzoek
- Nomothetisch: door middel van groepsdata iets te leren over het individu
- Idiografisch: individu analyseren door middel van meerdere metingen, om vervolgens te
proberen te generaliseren naar de groep
College 1 - Introductie
Historische ontwikkeling normaalverdeling
- Er bestaat maar één waarde die de afstand van een ster naar het centrum van de aarde het
meest accureet weergeeft: de ware afstand
- Alle observaties bevatten meetfouten die toe te schrijven zijn aan de observator en/of het
instrument en/of andere omstandigheden tijdens de meting
- De observaties liggen symmetrisch rondom de ware waarde. Fouten zijn symmetrisch
verdeeld rondom 0
- Kleine afwijkingen (fouten) komen vaker voor dan grote afwijkingen (fouten)
Simpele zuivere spelobjecten
- A priori = vooraf
o Berekenen van de kans op een bepaalde uitkomst (gebaseerd op de fysieke
eigenschappen van het spelobject) = deductie
- Kans op de som van 2 < kans op de som van 7
De frequentistische interpretatie van kans (+- 19e eeuw)
De frequentistische interpretatie van kans leunt op de wet van de grote aantallen
- Oneindig veel herhalingen
- Gelijke omstandigheden
- Herhalingen zijn onderling onafhankelijk
- Relatieve frequenties en dus ook het gewogen gemiddelde kennen een limiet
Onzuivere dobbelsteen met voor ons onbekende fysieke eigenschappen
- 15 miljoen keer gooien, onder gelijkblijvende omstandigheden
- Een 6 blijkt 10 keer vaker voor te komen dan alle andere getallen 1 t/m 5
- A posteriori = achteraf berekenen van de kans op een bepaalde uitkomst (= inductie)
Foutentheorie
- Gaf reeds inzicht in de verdeling van meetfouten
- Kanstheorie voegde hier de theorievorming over waarschijnlijkheid aan toe
- Met de standaardafwijking (SD) werd het mogelijk de onzekerheid/fout van een
meting/observatie te kwantificeren.
o Hoe groter deze SD is hoe onbetrouwbaarder de meetprocedure is (zie de
weegschaal op pp.)
- Voortaan was het mogelijk om de betrouwbaarheid van een
observatie/meting/meetprocedure te kunnen bepalen.
Stochastische foutentheorie
- Maakt het mogelijk om observaties te koppelen aan kansverdeling
Voorwaarden:
- De observaties moeten onafhankelijk van elkaar zijn en oneindig vaak herhaald worden
- Onder gelijkblijvende omstandigheden
- Het te meten fenomeen moet statisch zijn in de zin dat het een limiet (verwachte waarde)
kent. De tafel moet dus één ware lengte hebben die nooit verandert
, - Als aan deze voorwaarden voldaan is, dan is…
o … de ware waarde = het gemiddelde van oneindig vele observaties/metingen
o … de standaardafwijking SD = standaardmeetfout SE
- Met de SE is het mogelijk te berekenen hoe groot de kans is op een bepaalde observatie bij
een gegeven gemiddelde.
- Bijv.: gezien de SD’s is de kans op een meting van 5 meter bij de … procedure groter dan bij
de …. Procedure. Dus: deze procedure is betrouwbaarder.
Quetelet wilde in grote groepen onderzoek doen; fysieke eigenschappen, later ook psychologische
eigenschappen.
- Verdeling van meetfouten
o Gemiddelde = waarde (reële grootheid)
- Verdeling van foute exemplaren
o Gemiddelde = norm (de fictieve ideale means)
o Het was geen meetfout meer, maar de persoon was afwijkend (intrinsieke afwijking
in een persoon)
- Als we groepen vergelijken, vergelijken we gemiddelden van een groep
Veel kritiek op Quetelet
Inter- en intra-individuele data zijn inwisselbaar (volgens Quetelet)
- Variatie in een populatie is normaal verdeeld (1 x 5738 soldaten)
o Symmetrische verdeling
o Verwachte waarde = gewogen gemiddelde = de gemiddelde mens
o Onafhankelijk
- Meetfouten zijn normaal verdeeld (5738 x 1 soldaat)
o Symmetrische verdeling
o Verwachte waarde = gewogen gemiddelde = ware waarde
o Onafhankelijk
Samenvatting
- Voor het betrouwbaar vaststellen van een testscore maken we gebruik van de stochatische
foutentheorie
- Deze is gebaseerd op de astronomie en natuurkunde
- Adolphe Quetelet was de eerste wiskundige, die de stochatische foutentheorie toepaste op
sociale data en daarmee de ‘gemiddelde mens’ introduceerde
- Hij stelde dat inter- en intra-individuele data inwisselbaar zijn
- Dit vinden we ook terug in de klassieke testtheorie (KTT) van Lord en Novick (1968), de meest
gebruikte testtheorie in de psychologie en pedagogiek
- KTT is gebaseerd op de frequentistische interpretatie van kans
Hoe wordt de betrouwbaarheid van een testscore bepaald?
Hoe komt dit betrouwbaarheidsinterval tot stand?
Cliënt Dolora
- X = 65
- Betrouwbaarheidsinterval is 18 (+- 9)
De KTT vereist een intra-individuele meting bij Dolora die eruit bestaat dat we…
- Oneindig vaak dezelfde test afnemen onder gelijkblijvende omstandigheden, waarbij alle
testafnames onderling van elkaar onafhankelijk zijn
o = Stochastische foutentheorie
, - Gedachtenexperiment uit Lord en Novick (1968). Zij wilden een privéverdeling creëren, maar
omdat cliënten niks meer mogen weten en niks mogen leren doen ze een ‘brainwash’
o De verwachte waarde (limiet) moet bestaan, dus mag Dolora niet veranderen
▪ Ze mag dus niets leren; want ze mag niet weten wat ze de vorige keer heeft
ingevuld.
Gesimuleerde privéverdelingen na 5.738 fictieve afnames van de SCARED-R.
- Ware score van Dolora
- Standaard meetfout van Dolora
- Noot: ware score = betrouwbare score
Omdat we niet over de privéverdeling van Dolora beschikken, maken we gebruik van
steekproefgegevens van verschillende mensen om de onbekende gegevens van Dolora te schatten.
- De KTT maakt om pragmatische redenen een meting van een steekproef van verschillende
mensen (interindividueel)
o Gemiddelde score in de steekproef (x)
o Standaardafwijking in de steekproef (S)
Hoe wordt de betrouwbaarheid van een testscore bepaald?
- Een veelgebruikte methode is om de geschatte ware waarde (score) gelijk te stellen aan de
geobserveerde score van een individu (Td)
- De schatting van de standaardmeetfout is meestal gebaseerd op Cronbach’s alfa en de
variantie van de steekproef (SEd)
- Iedereen bij wie de test wordt afgenomen, krijgt dezelfde geschatte standaardmeetfout op
basis waarvan voor iedereen hetzelfde geschatte betrouwbaarheidsinterval wordt berekend
Testpraktijk: intra- en interindividuele data worden ingewisseld
- KTT vereist oneindig vele testafnames bij dezelfde persoon, Dolora (intra-individuele
metingen)
- De KTT gebruikt om pragmatische redenen één testafname van een steekproef van
verschillende mensen (interindividueel)
Mag dat zomaar?
- Nee, dat mag absoluut niet.
o Ten eerste moeten de eigenschappen die kenmerkend zijn voor Dolora onveranderd
blijven door de tijd heen (stationair). Dit is niet toepasbaar op mensen.
o Ten tweede moet de steekproef uit identieke (homogene) kopieën van Dolora
bestaan. Dit is niet toepasbaar op mensen.
- Alleen als aan deze twee voorwaarden voldaan is mogen intra- en interindividuele data
worden ingewisseld. Dit is uitsluitend toepasbaar op ergodische systemen en dus niet op
mensen
Mensen zijn niet ergodisch
- Als we toch intra-individuele data vervangen door interindividuele, dan is het zeer goed
denkbaar dat onze conclusie incorrect is
- We kunnen echter nooit verifiëren hoe incorrect onze conclusie daadwerkelijk is
- Dus: het is onmogelijk om een geïnformeerde correcte conclusie te trekken, het blijft een gok
Conclusie: daarom is het gebruik van tests voor het individuele geval vooralsnog te ontraden.
- Nomothetisch: door middel van groepsdata iets te leren over het individu
- Idiografisch: individu analyseren door middel van meerdere metingen, om vervolgens te
proberen te generaliseren naar de groep
College 1 - Introductie
Historische ontwikkeling normaalverdeling
- Er bestaat maar één waarde die de afstand van een ster naar het centrum van de aarde het
meest accureet weergeeft: de ware afstand
- Alle observaties bevatten meetfouten die toe te schrijven zijn aan de observator en/of het
instrument en/of andere omstandigheden tijdens de meting
- De observaties liggen symmetrisch rondom de ware waarde. Fouten zijn symmetrisch
verdeeld rondom 0
- Kleine afwijkingen (fouten) komen vaker voor dan grote afwijkingen (fouten)
Simpele zuivere spelobjecten
- A priori = vooraf
o Berekenen van de kans op een bepaalde uitkomst (gebaseerd op de fysieke
eigenschappen van het spelobject) = deductie
- Kans op de som van 2 < kans op de som van 7
De frequentistische interpretatie van kans (+- 19e eeuw)
De frequentistische interpretatie van kans leunt op de wet van de grote aantallen
- Oneindig veel herhalingen
- Gelijke omstandigheden
- Herhalingen zijn onderling onafhankelijk
- Relatieve frequenties en dus ook het gewogen gemiddelde kennen een limiet
Onzuivere dobbelsteen met voor ons onbekende fysieke eigenschappen
- 15 miljoen keer gooien, onder gelijkblijvende omstandigheden
- Een 6 blijkt 10 keer vaker voor te komen dan alle andere getallen 1 t/m 5
- A posteriori = achteraf berekenen van de kans op een bepaalde uitkomst (= inductie)
Foutentheorie
- Gaf reeds inzicht in de verdeling van meetfouten
- Kanstheorie voegde hier de theorievorming over waarschijnlijkheid aan toe
- Met de standaardafwijking (SD) werd het mogelijk de onzekerheid/fout van een
meting/observatie te kwantificeren.
o Hoe groter deze SD is hoe onbetrouwbaarder de meetprocedure is (zie de
weegschaal op pp.)
- Voortaan was het mogelijk om de betrouwbaarheid van een
observatie/meting/meetprocedure te kunnen bepalen.
Stochastische foutentheorie
- Maakt het mogelijk om observaties te koppelen aan kansverdeling
Voorwaarden:
- De observaties moeten onafhankelijk van elkaar zijn en oneindig vaak herhaald worden
- Onder gelijkblijvende omstandigheden
- Het te meten fenomeen moet statisch zijn in de zin dat het een limiet (verwachte waarde)
kent. De tafel moet dus één ware lengte hebben die nooit verandert
, - Als aan deze voorwaarden voldaan is, dan is…
o … de ware waarde = het gemiddelde van oneindig vele observaties/metingen
o … de standaardafwijking SD = standaardmeetfout SE
- Met de SE is het mogelijk te berekenen hoe groot de kans is op een bepaalde observatie bij
een gegeven gemiddelde.
- Bijv.: gezien de SD’s is de kans op een meting van 5 meter bij de … procedure groter dan bij
de …. Procedure. Dus: deze procedure is betrouwbaarder.
Quetelet wilde in grote groepen onderzoek doen; fysieke eigenschappen, later ook psychologische
eigenschappen.
- Verdeling van meetfouten
o Gemiddelde = waarde (reële grootheid)
- Verdeling van foute exemplaren
o Gemiddelde = norm (de fictieve ideale means)
o Het was geen meetfout meer, maar de persoon was afwijkend (intrinsieke afwijking
in een persoon)
- Als we groepen vergelijken, vergelijken we gemiddelden van een groep
Veel kritiek op Quetelet
Inter- en intra-individuele data zijn inwisselbaar (volgens Quetelet)
- Variatie in een populatie is normaal verdeeld (1 x 5738 soldaten)
o Symmetrische verdeling
o Verwachte waarde = gewogen gemiddelde = de gemiddelde mens
o Onafhankelijk
- Meetfouten zijn normaal verdeeld (5738 x 1 soldaat)
o Symmetrische verdeling
o Verwachte waarde = gewogen gemiddelde = ware waarde
o Onafhankelijk
Samenvatting
- Voor het betrouwbaar vaststellen van een testscore maken we gebruik van de stochatische
foutentheorie
- Deze is gebaseerd op de astronomie en natuurkunde
- Adolphe Quetelet was de eerste wiskundige, die de stochatische foutentheorie toepaste op
sociale data en daarmee de ‘gemiddelde mens’ introduceerde
- Hij stelde dat inter- en intra-individuele data inwisselbaar zijn
- Dit vinden we ook terug in de klassieke testtheorie (KTT) van Lord en Novick (1968), de meest
gebruikte testtheorie in de psychologie en pedagogiek
- KTT is gebaseerd op de frequentistische interpretatie van kans
Hoe wordt de betrouwbaarheid van een testscore bepaald?
Hoe komt dit betrouwbaarheidsinterval tot stand?
Cliënt Dolora
- X = 65
- Betrouwbaarheidsinterval is 18 (+- 9)
De KTT vereist een intra-individuele meting bij Dolora die eruit bestaat dat we…
- Oneindig vaak dezelfde test afnemen onder gelijkblijvende omstandigheden, waarbij alle
testafnames onderling van elkaar onafhankelijk zijn
o = Stochastische foutentheorie
, - Gedachtenexperiment uit Lord en Novick (1968). Zij wilden een privéverdeling creëren, maar
omdat cliënten niks meer mogen weten en niks mogen leren doen ze een ‘brainwash’
o De verwachte waarde (limiet) moet bestaan, dus mag Dolora niet veranderen
▪ Ze mag dus niets leren; want ze mag niet weten wat ze de vorige keer heeft
ingevuld.
Gesimuleerde privéverdelingen na 5.738 fictieve afnames van de SCARED-R.
- Ware score van Dolora
- Standaard meetfout van Dolora
- Noot: ware score = betrouwbare score
Omdat we niet over de privéverdeling van Dolora beschikken, maken we gebruik van
steekproefgegevens van verschillende mensen om de onbekende gegevens van Dolora te schatten.
- De KTT maakt om pragmatische redenen een meting van een steekproef van verschillende
mensen (interindividueel)
o Gemiddelde score in de steekproef (x)
o Standaardafwijking in de steekproef (S)
Hoe wordt de betrouwbaarheid van een testscore bepaald?
- Een veelgebruikte methode is om de geschatte ware waarde (score) gelijk te stellen aan de
geobserveerde score van een individu (Td)
- De schatting van de standaardmeetfout is meestal gebaseerd op Cronbach’s alfa en de
variantie van de steekproef (SEd)
- Iedereen bij wie de test wordt afgenomen, krijgt dezelfde geschatte standaardmeetfout op
basis waarvan voor iedereen hetzelfde geschatte betrouwbaarheidsinterval wordt berekend
Testpraktijk: intra- en interindividuele data worden ingewisseld
- KTT vereist oneindig vele testafnames bij dezelfde persoon, Dolora (intra-individuele
metingen)
- De KTT gebruikt om pragmatische redenen één testafname van een steekproef van
verschillende mensen (interindividueel)
Mag dat zomaar?
- Nee, dat mag absoluut niet.
o Ten eerste moeten de eigenschappen die kenmerkend zijn voor Dolora onveranderd
blijven door de tijd heen (stationair). Dit is niet toepasbaar op mensen.
o Ten tweede moet de steekproef uit identieke (homogene) kopieën van Dolora
bestaan. Dit is niet toepasbaar op mensen.
- Alleen als aan deze twee voorwaarden voldaan is mogen intra- en interindividuele data
worden ingewisseld. Dit is uitsluitend toepasbaar op ergodische systemen en dus niet op
mensen
Mensen zijn niet ergodisch
- Als we toch intra-individuele data vervangen door interindividuele, dan is het zeer goed
denkbaar dat onze conclusie incorrect is
- We kunnen echter nooit verifiëren hoe incorrect onze conclusie daadwerkelijk is
- Dus: het is onmogelijk om een geïnformeerde correcte conclusie te trekken, het blijft een gok
Conclusie: daarom is het gebruik van tests voor het individuele geval vooralsnog te ontraden.
