KNODBO
Betrouwbaarheidsanalyse
Betrouwbaarheid en validiteit
Geen consistente antwoorden > niet betrouwbaar
Betrouwbaarheidsanalyse gaat om (in)consistentie, het gaat niet om liegen of
de meetvaliditeit.
o Liegen = invalide/ongeldige meting
o Inconsistentie = onbetrouwbare meting
Dus:
o Betrouwbaarheid = consistentie van het
meetinstrument
o Meetvaliditeit (geldigheid) = meet het instrument
(bijv. stellingen) ook echt het verschijnsel dat je
wilt meten?
Onbetrouwbare meting antwoorden schieten alle
kanten op. Een onbetrouwbare meting kan, in de
praktijk, niet geldig zijn (= slechte meting qua validiteit).
Meetfouten
Blokje = geobserveerde variabele (er wordt echt iets gemeten/er is een score)
Ovaal = latente variabele (onbekend/niet gemeten (iemands echte
‘waarde’/score)
Meetfouten = items die niet helder zijn geformuleerd/mensen die per ongeluk
verkeerd antwoord geven
Meetfouten worden verminderd door meerdere items te gebruiken. Nu is er de
mogelijkheid om een item te verwijderen, wanneer deze toch niet helder is.
,Meten van betrouwbaarheid
Hoe de interne betrouwbaarheid bij een multiple-indicator measure
vaststellen?
Interne betrouwbaarheid = is er samenhang tussen de items (passen die
‘meerdere’ items wel bij elkaar)?
1. Vast te stellen met split-half methode
2. Vast te stellen met Cronbach’s alpha
Split-half methode:
- De items in twee random groepen delen
- Bereken de correlatie (r) tussen de twee metingen
Hier correlatie is r= -0,10, er is dus geen/weinig verband. Dit klopt ook, want
bij de eerste meting scoort student 1 een 10, en bij de tweede meting een 5,5:
dus geen stabiele meting.
,Cronbach’s alpha
Introductie Cronbach’s alpha
- Cronbach’s alpha is een getal dat slaat op de gehele schaal (alle items bij
elkaar)
- Het getal drukt uit hoe betrouwbaar de schaal is
- Ligt meestal tussen 0 en 1 (hoe dichter bij 1, hoe beter)
- α > 0.80 of hoger betekent een betrouwbare schaal (= interne
consistentie van schaal is hoog)
Betrouwbaarheidsanalyse uitvoeren m.b.v. Cronbach’s alpha
1. Check of het concept dat je meet ééndimensionaal is en of alle vragen in
dezelfde richting gecodeerd zijn (zo niet: ompolen)
a. Eéndimensionaal = bijv. één soort woede
b. Dezelfde richting = hoge score is veel woede
2. Bekijk/bereken Cronbach’s alpha (in SPSS). Beslis of je bepaalde items
weg moet laten
3. Zo ja, voer de betrouwbaarheidsanalyse nogmaals uit voor de nieuwe
subset items, tot je geen verbetering meer kunt krijgen
4. Maak een nieuwe variabele aan (SPSS: compute): de schaal of index
5. Rapporteer de Cronbach’s alpha
Handmatige berekening
Deze formule is toe te passen indien alle scores op alle vragen/stellingen
dezelfde variantie hebben (dezelfde standaarddeviatie). Dus elk items heeft
ongeveer dezelfde spreiding (variantie) in scores
r-bar eerst bereken je de correlatie tussen alle mogelijke item combinaties,
daar bereken je weer de gemiddelde correlatie van
Eigenschappen Cronbach’s alpha
- Hoe meer items, hoe hoger de Cronbach’s alpha
- Hoe hoger de inter-item correlatie (samenhang) tussen de items, hoe
hoger de Cronbach’s alpha
- Het is een onderschatting van de betrouwbaarheid: de betrouwbaarheid
is minimaal de waarde van de Cronbach’s alpha, maar het zou eigenlijk
hoger kunnen zijn
, Handmatige berekening (Cronbach’s alpha)
Simpele formule gaat ervan uit dat variantie van items gelijk is, daarom is
Cronbach’s alpha van SPSS een net ander getal.
Items standaardiseren Z-scores uitrekenen (daarna nogmaals α berekenen)
dan krijg je: Cronbach’s Alpha Based on Standardized items
Wat gebeurt er wanneer z-scores worden berekend? De scores op alle items
hebben dan exact hetzelfde:
- Gemiddelde (wordt 0)
- Variantie
- Standaarddeviatie (wordt 1)
Nu is de eenvoudige formule weer te gebruiken
- Iemand die 0 van het gemiddelde afwijkt z-score = 0
- Iemand die 1 standaarddeviatie van gemiddelde afwijkt z-score = 1
Z-score = hoeveel standaarddeviaties een bepaalde observatie van het
gemiddelde ligt. Het geeft informatie over hoe extreem of uitzonderlijk een
observatie is.
- Negatieve Z-scores waarden lager dan het gemiddelde
- Positieve Z-scores waarden boven het gemiddelde
- Hoe kleiner de Z-score is (dichter bij 0), hoe minder uitzonderlijk je
bent/komt de waarden vaker voor.
Standaarddeviatie = de gemiddelde afstand van elke waarde tot het
gemiddelde
Standaardiseren = de originele waarden hercoderen naar Z-scores. Je drukt alle
waarden in standaarddeviatie uit, zodat je de scores van verschillende
metingen kunt vergelijken.
(Correlatie is onafhankelijk van de meeteenheden, want bij het berekenen van
r maak je gebruik van Z-scores die dus zijn gestandaardiseerd!)
Betrouwbaarheidsanalyse
Betrouwbaarheid en validiteit
Geen consistente antwoorden > niet betrouwbaar
Betrouwbaarheidsanalyse gaat om (in)consistentie, het gaat niet om liegen of
de meetvaliditeit.
o Liegen = invalide/ongeldige meting
o Inconsistentie = onbetrouwbare meting
Dus:
o Betrouwbaarheid = consistentie van het
meetinstrument
o Meetvaliditeit (geldigheid) = meet het instrument
(bijv. stellingen) ook echt het verschijnsel dat je
wilt meten?
Onbetrouwbare meting antwoorden schieten alle
kanten op. Een onbetrouwbare meting kan, in de
praktijk, niet geldig zijn (= slechte meting qua validiteit).
Meetfouten
Blokje = geobserveerde variabele (er wordt echt iets gemeten/er is een score)
Ovaal = latente variabele (onbekend/niet gemeten (iemands echte
‘waarde’/score)
Meetfouten = items die niet helder zijn geformuleerd/mensen die per ongeluk
verkeerd antwoord geven
Meetfouten worden verminderd door meerdere items te gebruiken. Nu is er de
mogelijkheid om een item te verwijderen, wanneer deze toch niet helder is.
,Meten van betrouwbaarheid
Hoe de interne betrouwbaarheid bij een multiple-indicator measure
vaststellen?
Interne betrouwbaarheid = is er samenhang tussen de items (passen die
‘meerdere’ items wel bij elkaar)?
1. Vast te stellen met split-half methode
2. Vast te stellen met Cronbach’s alpha
Split-half methode:
- De items in twee random groepen delen
- Bereken de correlatie (r) tussen de twee metingen
Hier correlatie is r= -0,10, er is dus geen/weinig verband. Dit klopt ook, want
bij de eerste meting scoort student 1 een 10, en bij de tweede meting een 5,5:
dus geen stabiele meting.
,Cronbach’s alpha
Introductie Cronbach’s alpha
- Cronbach’s alpha is een getal dat slaat op de gehele schaal (alle items bij
elkaar)
- Het getal drukt uit hoe betrouwbaar de schaal is
- Ligt meestal tussen 0 en 1 (hoe dichter bij 1, hoe beter)
- α > 0.80 of hoger betekent een betrouwbare schaal (= interne
consistentie van schaal is hoog)
Betrouwbaarheidsanalyse uitvoeren m.b.v. Cronbach’s alpha
1. Check of het concept dat je meet ééndimensionaal is en of alle vragen in
dezelfde richting gecodeerd zijn (zo niet: ompolen)
a. Eéndimensionaal = bijv. één soort woede
b. Dezelfde richting = hoge score is veel woede
2. Bekijk/bereken Cronbach’s alpha (in SPSS). Beslis of je bepaalde items
weg moet laten
3. Zo ja, voer de betrouwbaarheidsanalyse nogmaals uit voor de nieuwe
subset items, tot je geen verbetering meer kunt krijgen
4. Maak een nieuwe variabele aan (SPSS: compute): de schaal of index
5. Rapporteer de Cronbach’s alpha
Handmatige berekening
Deze formule is toe te passen indien alle scores op alle vragen/stellingen
dezelfde variantie hebben (dezelfde standaarddeviatie). Dus elk items heeft
ongeveer dezelfde spreiding (variantie) in scores
r-bar eerst bereken je de correlatie tussen alle mogelijke item combinaties,
daar bereken je weer de gemiddelde correlatie van
Eigenschappen Cronbach’s alpha
- Hoe meer items, hoe hoger de Cronbach’s alpha
- Hoe hoger de inter-item correlatie (samenhang) tussen de items, hoe
hoger de Cronbach’s alpha
- Het is een onderschatting van de betrouwbaarheid: de betrouwbaarheid
is minimaal de waarde van de Cronbach’s alpha, maar het zou eigenlijk
hoger kunnen zijn
, Handmatige berekening (Cronbach’s alpha)
Simpele formule gaat ervan uit dat variantie van items gelijk is, daarom is
Cronbach’s alpha van SPSS een net ander getal.
Items standaardiseren Z-scores uitrekenen (daarna nogmaals α berekenen)
dan krijg je: Cronbach’s Alpha Based on Standardized items
Wat gebeurt er wanneer z-scores worden berekend? De scores op alle items
hebben dan exact hetzelfde:
- Gemiddelde (wordt 0)
- Variantie
- Standaarddeviatie (wordt 1)
Nu is de eenvoudige formule weer te gebruiken
- Iemand die 0 van het gemiddelde afwijkt z-score = 0
- Iemand die 1 standaarddeviatie van gemiddelde afwijkt z-score = 1
Z-score = hoeveel standaarddeviaties een bepaalde observatie van het
gemiddelde ligt. Het geeft informatie over hoe extreem of uitzonderlijk een
observatie is.
- Negatieve Z-scores waarden lager dan het gemiddelde
- Positieve Z-scores waarden boven het gemiddelde
- Hoe kleiner de Z-score is (dichter bij 0), hoe minder uitzonderlijk je
bent/komt de waarden vaker voor.
Standaarddeviatie = de gemiddelde afstand van elke waarde tot het
gemiddelde
Standaardiseren = de originele waarden hercoderen naar Z-scores. Je drukt alle
waarden in standaarddeviatie uit, zodat je de scores van verschillende
metingen kunt vergelijken.
(Correlatie is onafhankelijk van de meeteenheden, want bij het berekenen van
r maak je gebruik van Z-scores die dus zijn gestandaardiseerd!)
