Samenvatting COR
Hoorcollege 1:
Boek, Research Methods abd Statistics:
• Part I: Three Claims, Four Validities: p. 57 t/m 85
• Part II: Identifying Good Measurement: p.117 t/m 128, p. 132 t/m 149
Grasple:
C8, C9, C10, C11, C12
VO:
Maak VO voor WG1 (WG vindt plaats op 25 september)
Grasple:
C8 - Validiteit en betrouwbaarheid
• Lage betrouwbaarheid= pijlen gaan alle kanten op
• Betrouwbaarheid= de mate waarin meerdere metingen hetzelfde resultaat
geven. Het wordt ook wel consistentie of precisie genoemd
o De betrouwbaarheid is inderdaad een maat voor hoe dicht de gemeten
waarden bij elkaar liggen.
Toepassing op onderzoek
Doel: metingen herhalen om zo te kijken of ze betrouwbaar zijn
Drie voorbeelden zijn:
, • Test-hertest betrouwbaarheid: stel je neemt een IQ test af en twee
weken later nog eens, in hoeverre komen die metingen met elkaar overeen?
• Interbeoordelaarsbetrouwbaarheid: als twee mensen iets beoordelen
(bijvoorbeeld of ze vinden dat iemand goed onderzoek heeft uitgevoerd), in
hoeverre komen hun beoordelingen overeen?
• Interne betrouwbaarheid: stel dat je via drie vragen het humeur van
iemand wilt meten, in hoeverre komen de antwoorden op die drie vragen
overeen?
→ vraagt over hetzelfde begrip in je meetinstrument
Validiteit= validiteit is de mate waarin hetgeen wat je gemeten hebt overeenkomt
met het begrip wat je wilt meten, de werkelijke waarde.
• Validiteit wordt ook wel benaderd met de term juistheid.
• Validiteit (ook wel juistheid genoemd) is de mate waarin hetgeen wat je
gemeten hebt overeenkomt met het begrip wat je wilt meten, de werkelijke
waarde.
Toepassing op onderzoek
Het bleek dus dat de originele IQ test niet zozeer intelligentie meette, maar eerder
begrip en kennis van de taal en de maatschappij.
Dit soort situaties komen vaak voor en kun jij ook in jouw onderzoek tegenkomen.
Maar bijvoorbeeld ook afwijkingen in meetapparatuur en andere systematische
fouten kunnen een oorzaak zijn van een lage validiteit.
Drie voorbeelden van validiteit zijn:
• Inhoudsvaliditeit: Een docent wenst kennis van de Engelse taal te meten
en meet in haar toets alleen vocabulaire, grammatica, en schrijf- en
leesvaardigheid, maar vergeet spreekvaardigheid te testen. Meet de docent
wel alle aspecten van het begrip "kennis van de Engelse taal"?
• Indruksvaliditeit: Een kinderarts heeft een meetinstrument ontwikkeld om
kinderen aan te laten geven hoeveel pijn ze hebben. Hoe beoordelen experts
op het gebied van pijn dit meetinstrument?
• Convergente validiteit: De kinderarts gebruikt een bestaande manier en
zijn nieuwe manier om pijn te meten bij een steekproef van kinderen die
binnenkomen met pijnklachten. In hoeverre komen de metingen van zijn
, nieuwe meetinstrument en metingen van het bestaande meetinstrument
overeen?
Samenvatting:
Wat heb je geleerd:
• Als je nadenkt over je onderzoek zijn de begrippen betrouwbaarheid en
validiteit dus erg belangrijk en is het belangrijk te beseffen dat ze niet
hetzelfde zijn.
• Betrouwbaarheid is de mate waarin identieke metingen vergelijkbare
resultaten opleveren.
o De betrouwbaarheid van je meetmethode kan het beste bepaald
worden door het herhalen van metingen. Voorbeelden van mogelijke
benaderingen zijn: test-hertest betrouwbaarheid,
interbeoordelaarsbetrouwbaarheid en interne betrouwbaarheid.
• Validiteit is de mate waarin hetgeen wat je gemeten hebt overeenkomt met
het begrip wat je wilt meten, de werkelijke waarde.
o De validiteit van je meetinstrument kan op verschillende manieren
bepaald worden. Dit zijn onder andere: inhoudsvaliditeit,
indruksvaliditeit en convergente validiteit.
C9 - Soorten betrouwbaarheid en begripsvaliditeit
Betrouwbaarheid is de mate waarin identieke metingen vergelijkbare resultaten
opleveren.
Begripsvaliditeit is de mate waarin hetgeen wat je gemeten hebt overeenkomt met
het begrip wat je wilt meten.
,We onderscheiden vijf verschillende vormen van begripsvaliditeit. Twee daarvan
kunnen alleen subjectief beoordeeld worden, de andere drie ook empirisch:
Soorten begripsvaliditeit:
• Inhoudsvaliditeit: Beoordeelt of het meetinstrument wel alle aspecten van
het theoretische begrip meet
• Indruksvaliditeit: Wanneer experts het meetinstrument beoordelen
, • Convergente validiteit: Meet in hoeverre de metingen van het
meetinstrument en metingen van een ander meetinstrument (dat hetzelfde
of een soortgelijk begrip meet) overeenkomen
• Discriminante validiteit: Meet of de metingen van het meetinstrument niet of
minder samenhangen met echt andere kenmerken
• Criterium validiteit: Meet of de metingen van dit meetinstrument
samenhangen met een andere uitkomstvariabele waarvan we weten dat er
een verband hoort te zijn
We onderscheiden drie verschillende vormen van betrouwbaarheid:
• Test-hertest betrouwbaarheid: Beoordeelt of het
meetinstrument consequente scores geeft wanneer onderzoekers het
meerdere keren gebruiken
• Interbeoordelaarsbetrouwbaarheid: Meet of het meetinstrument consequente
scores geeft wanneer verschillende onderzoekers het gebruiken - dit is vooral
van toepassing in situaties waar de onderzoeker iets moet beoordelen,
bijvoorbeeld bij observaties
• Door meerdere observanten te gebruiken, bewaken de onderzoekers
de betrouwbaarheid: op deze manier wordt gecontroleerd of de
verschillende beoordelaars tot dezelfde resultaten komen.
• Interne betrouwbaarheid: Meet in hoeverre respondenten soortgelijke
antwoorden op verschillende vragen over hetzelfde theoretische
begrip geven
C10- Begripsvaliditeit
Om een theoretisch begrip zoals agressie, plezier, perfectie enz. te meten moeten
de onderzoekers het hele operationalisatie proces doorlopen:
• De conceptuele definitie: wat de onderzoekers met het theoretische begrip
bedoelen
• De operationele definitie: hoe de onderzoekers het theoretische begrip gaan
meten
Vragen over begripsvaliditeit (construct validity):
• Meet het meetinstrument wel het beoogde theoretische begrip?
• Meet het meetinstrument wel alle aspecten van het theoretische begrip?
• Als een ander meetinstrument gebruikt zou zijn, zouden de resultaten dan
hetzelfde zijn?
Validiteit=
• Interne validiteit heeft te maken met het uitsluiten van eventuele andere
oorzaken
, • Externe validiteit met de toepasbaarheid van resultaten op een bredere
groep.
• Begripsvaliditeit is in die zin anders omdat het inzoomt op WAT we meten en
HOE we het meten.
Subjectief vs. Empirisch
Meetinstrumenten kunnen we zowel subjectief als empirisch beoordeeld worden.
Subjectief
Bij subjectieve beoordelingen baseren we ons op meningen, indrukken en kennis
van relevante personen om iets te zeggen over de kwaliteit van een
meetinstrument. Vaak zijn dit experts op het onderwerp en is het dus niet een
mening die uit het niets komt vallen.
Toch houdt het een subjectief karakter, omdat de beoordeling afhangt van de
persoon. Als verschillende experts naar de vragenlijst kijken, komen ze mogelijk tot
een andere beoordeling.
Empirisch
In tegenstelling baseren we ons bij empirische beoordelingen op data. Observaties
die worden gedaan met het meetinstrument dat beoordeeld wordt worden
vergeleken met data die op andere manieren zijn verworven, bijvoorbeeld met een
ander meetinstrument.
Op die manier kunnen we tot empirische uitspraken komen die iets kunnen
vertellen over de mate waarin ons instrument samenhangt met andere
instrumenten die bijv. iets vergelijkbaars meten, of juist iets heel anders.
Verschillende onderzoekers die deze analyse uitvoeren zouden tot vergelijkbare
conclusies moeten leiden en zijn daarom minder subjectief.
Is het nuttig om meetinstrumenten op subjectieve manier te boordelen?
• Hoewel de empirische beoordelingen wellicht objectiever zijn, geven ze een
beperkt beeld van de kwaliteit van het meetinstrument. Bijv. twee
Hoorcollege 1:
Boek, Research Methods abd Statistics:
• Part I: Three Claims, Four Validities: p. 57 t/m 85
• Part II: Identifying Good Measurement: p.117 t/m 128, p. 132 t/m 149
Grasple:
C8, C9, C10, C11, C12
VO:
Maak VO voor WG1 (WG vindt plaats op 25 september)
Grasple:
C8 - Validiteit en betrouwbaarheid
• Lage betrouwbaarheid= pijlen gaan alle kanten op
• Betrouwbaarheid= de mate waarin meerdere metingen hetzelfde resultaat
geven. Het wordt ook wel consistentie of precisie genoemd
o De betrouwbaarheid is inderdaad een maat voor hoe dicht de gemeten
waarden bij elkaar liggen.
Toepassing op onderzoek
Doel: metingen herhalen om zo te kijken of ze betrouwbaar zijn
Drie voorbeelden zijn:
, • Test-hertest betrouwbaarheid: stel je neemt een IQ test af en twee
weken later nog eens, in hoeverre komen die metingen met elkaar overeen?
• Interbeoordelaarsbetrouwbaarheid: als twee mensen iets beoordelen
(bijvoorbeeld of ze vinden dat iemand goed onderzoek heeft uitgevoerd), in
hoeverre komen hun beoordelingen overeen?
• Interne betrouwbaarheid: stel dat je via drie vragen het humeur van
iemand wilt meten, in hoeverre komen de antwoorden op die drie vragen
overeen?
→ vraagt over hetzelfde begrip in je meetinstrument
Validiteit= validiteit is de mate waarin hetgeen wat je gemeten hebt overeenkomt
met het begrip wat je wilt meten, de werkelijke waarde.
• Validiteit wordt ook wel benaderd met de term juistheid.
• Validiteit (ook wel juistheid genoemd) is de mate waarin hetgeen wat je
gemeten hebt overeenkomt met het begrip wat je wilt meten, de werkelijke
waarde.
Toepassing op onderzoek
Het bleek dus dat de originele IQ test niet zozeer intelligentie meette, maar eerder
begrip en kennis van de taal en de maatschappij.
Dit soort situaties komen vaak voor en kun jij ook in jouw onderzoek tegenkomen.
Maar bijvoorbeeld ook afwijkingen in meetapparatuur en andere systematische
fouten kunnen een oorzaak zijn van een lage validiteit.
Drie voorbeelden van validiteit zijn:
• Inhoudsvaliditeit: Een docent wenst kennis van de Engelse taal te meten
en meet in haar toets alleen vocabulaire, grammatica, en schrijf- en
leesvaardigheid, maar vergeet spreekvaardigheid te testen. Meet de docent
wel alle aspecten van het begrip "kennis van de Engelse taal"?
• Indruksvaliditeit: Een kinderarts heeft een meetinstrument ontwikkeld om
kinderen aan te laten geven hoeveel pijn ze hebben. Hoe beoordelen experts
op het gebied van pijn dit meetinstrument?
• Convergente validiteit: De kinderarts gebruikt een bestaande manier en
zijn nieuwe manier om pijn te meten bij een steekproef van kinderen die
binnenkomen met pijnklachten. In hoeverre komen de metingen van zijn
, nieuwe meetinstrument en metingen van het bestaande meetinstrument
overeen?
Samenvatting:
Wat heb je geleerd:
• Als je nadenkt over je onderzoek zijn de begrippen betrouwbaarheid en
validiteit dus erg belangrijk en is het belangrijk te beseffen dat ze niet
hetzelfde zijn.
• Betrouwbaarheid is de mate waarin identieke metingen vergelijkbare
resultaten opleveren.
o De betrouwbaarheid van je meetmethode kan het beste bepaald
worden door het herhalen van metingen. Voorbeelden van mogelijke
benaderingen zijn: test-hertest betrouwbaarheid,
interbeoordelaarsbetrouwbaarheid en interne betrouwbaarheid.
• Validiteit is de mate waarin hetgeen wat je gemeten hebt overeenkomt met
het begrip wat je wilt meten, de werkelijke waarde.
o De validiteit van je meetinstrument kan op verschillende manieren
bepaald worden. Dit zijn onder andere: inhoudsvaliditeit,
indruksvaliditeit en convergente validiteit.
C9 - Soorten betrouwbaarheid en begripsvaliditeit
Betrouwbaarheid is de mate waarin identieke metingen vergelijkbare resultaten
opleveren.
Begripsvaliditeit is de mate waarin hetgeen wat je gemeten hebt overeenkomt met
het begrip wat je wilt meten.
,We onderscheiden vijf verschillende vormen van begripsvaliditeit. Twee daarvan
kunnen alleen subjectief beoordeeld worden, de andere drie ook empirisch:
Soorten begripsvaliditeit:
• Inhoudsvaliditeit: Beoordeelt of het meetinstrument wel alle aspecten van
het theoretische begrip meet
• Indruksvaliditeit: Wanneer experts het meetinstrument beoordelen
, • Convergente validiteit: Meet in hoeverre de metingen van het
meetinstrument en metingen van een ander meetinstrument (dat hetzelfde
of een soortgelijk begrip meet) overeenkomen
• Discriminante validiteit: Meet of de metingen van het meetinstrument niet of
minder samenhangen met echt andere kenmerken
• Criterium validiteit: Meet of de metingen van dit meetinstrument
samenhangen met een andere uitkomstvariabele waarvan we weten dat er
een verband hoort te zijn
We onderscheiden drie verschillende vormen van betrouwbaarheid:
• Test-hertest betrouwbaarheid: Beoordeelt of het
meetinstrument consequente scores geeft wanneer onderzoekers het
meerdere keren gebruiken
• Interbeoordelaarsbetrouwbaarheid: Meet of het meetinstrument consequente
scores geeft wanneer verschillende onderzoekers het gebruiken - dit is vooral
van toepassing in situaties waar de onderzoeker iets moet beoordelen,
bijvoorbeeld bij observaties
• Door meerdere observanten te gebruiken, bewaken de onderzoekers
de betrouwbaarheid: op deze manier wordt gecontroleerd of de
verschillende beoordelaars tot dezelfde resultaten komen.
• Interne betrouwbaarheid: Meet in hoeverre respondenten soortgelijke
antwoorden op verschillende vragen over hetzelfde theoretische
begrip geven
C10- Begripsvaliditeit
Om een theoretisch begrip zoals agressie, plezier, perfectie enz. te meten moeten
de onderzoekers het hele operationalisatie proces doorlopen:
• De conceptuele definitie: wat de onderzoekers met het theoretische begrip
bedoelen
• De operationele definitie: hoe de onderzoekers het theoretische begrip gaan
meten
Vragen over begripsvaliditeit (construct validity):
• Meet het meetinstrument wel het beoogde theoretische begrip?
• Meet het meetinstrument wel alle aspecten van het theoretische begrip?
• Als een ander meetinstrument gebruikt zou zijn, zouden de resultaten dan
hetzelfde zijn?
Validiteit=
• Interne validiteit heeft te maken met het uitsluiten van eventuele andere
oorzaken
, • Externe validiteit met de toepasbaarheid van resultaten op een bredere
groep.
• Begripsvaliditeit is in die zin anders omdat het inzoomt op WAT we meten en
HOE we het meten.
Subjectief vs. Empirisch
Meetinstrumenten kunnen we zowel subjectief als empirisch beoordeeld worden.
Subjectief
Bij subjectieve beoordelingen baseren we ons op meningen, indrukken en kennis
van relevante personen om iets te zeggen over de kwaliteit van een
meetinstrument. Vaak zijn dit experts op het onderwerp en is het dus niet een
mening die uit het niets komt vallen.
Toch houdt het een subjectief karakter, omdat de beoordeling afhangt van de
persoon. Als verschillende experts naar de vragenlijst kijken, komen ze mogelijk tot
een andere beoordeling.
Empirisch
In tegenstelling baseren we ons bij empirische beoordelingen op data. Observaties
die worden gedaan met het meetinstrument dat beoordeeld wordt worden
vergeleken met data die op andere manieren zijn verworven, bijvoorbeeld met een
ander meetinstrument.
Op die manier kunnen we tot empirische uitspraken komen die iets kunnen
vertellen over de mate waarin ons instrument samenhangt met andere
instrumenten die bijv. iets vergelijkbaars meten, of juist iets heel anders.
Verschillende onderzoekers die deze analyse uitvoeren zouden tot vergelijkbare
conclusies moeten leiden en zijn daarom minder subjectief.
Is het nuttig om meetinstrumenten op subjectieve manier te boordelen?
• Hoewel de empirische beoordelingen wellicht objectiever zijn, geven ze een
beperkt beeld van de kwaliteit van het meetinstrument. Bijv. twee
