Uitleg begrippen wetenschappelijke artikelen
Mijn BSL:
Meten in de praktijk
Onderwijs in wetenschap
KAPPA
Kappa zegt iets over de reproduceerbaarheid van de test.
Dit moet minimaal 0,7 of hoger zijn
Cohen's kappa is een maat voor de overeenkomst in scores van twee nominale variabelen. Kappa is
bekend als maat voor de interbeoordelaarsbetrouwbaarheid, doordat het iets zegt over het aantal
maal dat hetzelfde antwoord wordt gegeven door beide beoordelaars. Deze maat is echter alleen
zinvol wanneer de variabelen niet te veel waarden bevat. Voor variabelen van ordinaal en interval
meetniveau kun je beter een correlatiecoëfficiënt gebruiken of deze variabelen categoriseren.
Kruistabel
Indien op nominaal niveau gemeten is, kan een kruistabel gemaakt worden met daarin de waarden van de ene
variabele (bijv. beoordelingen van beoordelaar 1) uitgezet tegen de waarden van de andere variabele
(beoordelingen van beoordelaar 2). Nu kan SPSS Cohen's Kappa berekenen. De kappa kan een waarde hebben
van -1 (tegenovergestelde mening) tot +1 (exact dezelfde mening). Als kappa 0 is, dan is er geen
overeenstemming tussen de variabelen (c.q. beoordelaars).
Een probleem bij deze analyse is dat de scores kruislings moeten voorkomen wil je kappa kunnen berekenen.
Beide variabelen moeten dus evenveel en dezelfde categorieën hebben. Als dit niet zo is, dan kun je beter eerst
de categorieën samenvatten tot minder categorieën.
ICC Intra Class Correlation (intraclasscorrelatiecoëfficiënt)
De Intra Class Correlatie (ICC) een geschikte maat is voor het aangeven van een relatie
waarbij geen absoluut verschil mag zijn tussen de vergeleken waarden.
De ICC veel gebruikt wordt in onderzoek naar de methodologische kwaliteit van
meetinstrumenten
De ICC een waarde tussen de 0 en 1 geeft aan dat 1 een perfecte correlatie aantoont.
Een ICC waarde kan tussen de -1 en 1 liggen.
Goede betrouwbaarheid van een meetinstrument bij groepen patiënten: 0,70 (of hoger)
Goede betrouwbaarheid bij van een meetinstrument individuele patiënten: 0,90 (of hoger)
Hoe dichter bij de 1 hoe betrouwbaarder het meetinstrument is.
Interbeoordelaarskwaliteit
Meerdere beoordelaars gebruiken hetzelfde (meet)instrument om dezelfde situatie te boordelen. Als
dat dezelfde uitkomsten oplevert, kan aangenomen worden dat het instrument ervoor zorgt dat
persoonlijke kenmerken van de onderzoekers geen invloed hebben op het gebruik van het
instrument - dan is de interbeoordelaarsbetrouwbaarheid hoog.
Veelgebruikte maten voor de interbeoordelaarsbetrouwbaarheid zijn de Pearson r-
correlatiecoëfficiënt en Cohens kappa. Soms wordt het percentage overeenkomst gebruikt. Voor het
bepalen van de samenhang tussen meer dan twee beoordelaars kan voor ieder paar apart een
correlatiecoëfficiënt berekend worden of de uitkomsten kunnen in één maat samengevat worden in
een intra-classcorrelatie (ICC).
Welke waardes zijn goed of juist niet goed, waar ligt de grens?
, Intrabeoordelaarskwaliteit
De intrabeoordelaarsbetrouwbaarheid geeft de overeenkomst tussen de uitkomsten van dezelfde
metingen, uitgevoerd door dezelfde beoordelaar, weer. Dus als dezelfde meting meerdere keren
wordt uitgevoerd door dezelfde beoordelaar.
De intrabeoordelaarsbetrouwbaarheid wordt beoordeeld door middel van Kappa en/of ICC waarde
Intraclasscorrelatiecoëfficiënt (ICC): Bij de ICC wordt rekening gehouden met systematische
verschillen. Wanneer er sprake zijn van systematische verschillen dan zal de ICC een kleinere waarde
dan 1 hebben. Er worden zowel systematische, als niet-systematische meetfouten meegenomen.
Risk of Bias (interne validiteit)
Bias = vertekening
Verwijst naar de mate waarin de objectiviteit van metingen wordt aangetast door ruis (systematische
fouten). Ruis kan o.a. worden veroorzaakt door de kwaliteit van het gekozen instrument. Denk
bijvoorbeeld aan het gebruik van leidende vragen in een vragenlijst.
Bias of vertekening is een systematische fout in onder meer de analyse, de resultaten of de
conclusies van een onderzoek. Deze vertekening kan het werkelijke resultaat zowel over- als
onderschatten, ofwel niet beïnvloeden.
(Met bijv. de Pedroscore kan je kijken naar de interne validiteit)
BI/ CI = betrouwbaarheidsinterval (confidence interval)
Wanneer je een steekproef hebt met een intervalschatting, dan weet je nooit zeker of die interval
werkelijk het populatiegemiddelde omvat. Statistici hebben een methode ontwikkeld waarin je kunt
aangeven in hoeveel procent van de steekproeven die je doet, het interval inderdaad het
populatiegemiddelde omvat. Dit noemen we een betrouwbaarheidsinterval
Een betrouwbaarheidsinterval wordt gebruikt om aan te geven in welk percentage van de
gevallen het interval de populatie parameter bevat.
Bijvoorbeeld, een 95% BI betekent dat 95% van de intervallen (op de lange termijn) de
populatie parameter zullen bevatten.
Er bestaat een directe relatie tussen het BI en het significantieniveau; als je
significantieniveau 0.05 is, dan is het bijbehorende betrouwbaarheidsinterval 95%.
SMD (standardized Mean difference)
Cohen's d = de Effect Grootte uitgedrukt in het aantal standaarddeviaties.
In de medische vakken wordt dit soms ook de "Standardized Mean Difference (SMD)" genoemd.
Cohen heeft wel een paar vuistregels opgesteld voor Cohen's d:
0.2 = klein
0.5 = medium
0.8 of hoger = groot
Dus een Cohen’s d van 0.7 is een medium tot groot effect
MDC (minimal detectable change):
Wordt gebruikt om de klinische relevantie van een meetinstrument te bepalen
Mijn BSL:
Meten in de praktijk
Onderwijs in wetenschap
KAPPA
Kappa zegt iets over de reproduceerbaarheid van de test.
Dit moet minimaal 0,7 of hoger zijn
Cohen's kappa is een maat voor de overeenkomst in scores van twee nominale variabelen. Kappa is
bekend als maat voor de interbeoordelaarsbetrouwbaarheid, doordat het iets zegt over het aantal
maal dat hetzelfde antwoord wordt gegeven door beide beoordelaars. Deze maat is echter alleen
zinvol wanneer de variabelen niet te veel waarden bevat. Voor variabelen van ordinaal en interval
meetniveau kun je beter een correlatiecoëfficiënt gebruiken of deze variabelen categoriseren.
Kruistabel
Indien op nominaal niveau gemeten is, kan een kruistabel gemaakt worden met daarin de waarden van de ene
variabele (bijv. beoordelingen van beoordelaar 1) uitgezet tegen de waarden van de andere variabele
(beoordelingen van beoordelaar 2). Nu kan SPSS Cohen's Kappa berekenen. De kappa kan een waarde hebben
van -1 (tegenovergestelde mening) tot +1 (exact dezelfde mening). Als kappa 0 is, dan is er geen
overeenstemming tussen de variabelen (c.q. beoordelaars).
Een probleem bij deze analyse is dat de scores kruislings moeten voorkomen wil je kappa kunnen berekenen.
Beide variabelen moeten dus evenveel en dezelfde categorieën hebben. Als dit niet zo is, dan kun je beter eerst
de categorieën samenvatten tot minder categorieën.
ICC Intra Class Correlation (intraclasscorrelatiecoëfficiënt)
De Intra Class Correlatie (ICC) een geschikte maat is voor het aangeven van een relatie
waarbij geen absoluut verschil mag zijn tussen de vergeleken waarden.
De ICC veel gebruikt wordt in onderzoek naar de methodologische kwaliteit van
meetinstrumenten
De ICC een waarde tussen de 0 en 1 geeft aan dat 1 een perfecte correlatie aantoont.
Een ICC waarde kan tussen de -1 en 1 liggen.
Goede betrouwbaarheid van een meetinstrument bij groepen patiënten: 0,70 (of hoger)
Goede betrouwbaarheid bij van een meetinstrument individuele patiënten: 0,90 (of hoger)
Hoe dichter bij de 1 hoe betrouwbaarder het meetinstrument is.
Interbeoordelaarskwaliteit
Meerdere beoordelaars gebruiken hetzelfde (meet)instrument om dezelfde situatie te boordelen. Als
dat dezelfde uitkomsten oplevert, kan aangenomen worden dat het instrument ervoor zorgt dat
persoonlijke kenmerken van de onderzoekers geen invloed hebben op het gebruik van het
instrument - dan is de interbeoordelaarsbetrouwbaarheid hoog.
Veelgebruikte maten voor de interbeoordelaarsbetrouwbaarheid zijn de Pearson r-
correlatiecoëfficiënt en Cohens kappa. Soms wordt het percentage overeenkomst gebruikt. Voor het
bepalen van de samenhang tussen meer dan twee beoordelaars kan voor ieder paar apart een
correlatiecoëfficiënt berekend worden of de uitkomsten kunnen in één maat samengevat worden in
een intra-classcorrelatie (ICC).
Welke waardes zijn goed of juist niet goed, waar ligt de grens?
, Intrabeoordelaarskwaliteit
De intrabeoordelaarsbetrouwbaarheid geeft de overeenkomst tussen de uitkomsten van dezelfde
metingen, uitgevoerd door dezelfde beoordelaar, weer. Dus als dezelfde meting meerdere keren
wordt uitgevoerd door dezelfde beoordelaar.
De intrabeoordelaarsbetrouwbaarheid wordt beoordeeld door middel van Kappa en/of ICC waarde
Intraclasscorrelatiecoëfficiënt (ICC): Bij de ICC wordt rekening gehouden met systematische
verschillen. Wanneer er sprake zijn van systematische verschillen dan zal de ICC een kleinere waarde
dan 1 hebben. Er worden zowel systematische, als niet-systematische meetfouten meegenomen.
Risk of Bias (interne validiteit)
Bias = vertekening
Verwijst naar de mate waarin de objectiviteit van metingen wordt aangetast door ruis (systematische
fouten). Ruis kan o.a. worden veroorzaakt door de kwaliteit van het gekozen instrument. Denk
bijvoorbeeld aan het gebruik van leidende vragen in een vragenlijst.
Bias of vertekening is een systematische fout in onder meer de analyse, de resultaten of de
conclusies van een onderzoek. Deze vertekening kan het werkelijke resultaat zowel over- als
onderschatten, ofwel niet beïnvloeden.
(Met bijv. de Pedroscore kan je kijken naar de interne validiteit)
BI/ CI = betrouwbaarheidsinterval (confidence interval)
Wanneer je een steekproef hebt met een intervalschatting, dan weet je nooit zeker of die interval
werkelijk het populatiegemiddelde omvat. Statistici hebben een methode ontwikkeld waarin je kunt
aangeven in hoeveel procent van de steekproeven die je doet, het interval inderdaad het
populatiegemiddelde omvat. Dit noemen we een betrouwbaarheidsinterval
Een betrouwbaarheidsinterval wordt gebruikt om aan te geven in welk percentage van de
gevallen het interval de populatie parameter bevat.
Bijvoorbeeld, een 95% BI betekent dat 95% van de intervallen (op de lange termijn) de
populatie parameter zullen bevatten.
Er bestaat een directe relatie tussen het BI en het significantieniveau; als je
significantieniveau 0.05 is, dan is het bijbehorende betrouwbaarheidsinterval 95%.
SMD (standardized Mean difference)
Cohen's d = de Effect Grootte uitgedrukt in het aantal standaarddeviaties.
In de medische vakken wordt dit soms ook de "Standardized Mean Difference (SMD)" genoemd.
Cohen heeft wel een paar vuistregels opgesteld voor Cohen's d:
0.2 = klein
0.5 = medium
0.8 of hoger = groot
Dus een Cohen’s d van 0.7 is een medium tot groot effect
MDC (minimal detectable change):
Wordt gebruikt om de klinische relevantie van een meetinstrument te bepalen
