HC1 OBS Introductie: WG kritisch beschouwen onderzoek 07-02-23
Deel 1:
• Allerlei praktische zaken die in de pp terug te vinden zijn
Deel 2:
Mogelijke verschillende methoden
• Interviews/vragenlijsten
o Interne processen
o Dingen die niet te observeren zijn
o Dingen die je over langere tijd kan meten
▪ Je kunt meerdere meetmomenten hebben over een bepaalde periode
▪ Je kan ook in een vragenlijst vragen aan iemand om terug te laten
denken over een bepaalde periode.
• Gestandaardiseerde observatie
o Als je onbewust gedrag wil meten → dingen die je wilt zien, vb snelle
onbewuste reacties waar je je niet bewust van bent, maar wel van invloed
kunnen zijn
o Dat de interpretatie gestructureerd kan worden over hetgeen dat we
daadwerkelijk zien
o Sociaal wenselijk gedrag wordt kleiner → mensen die geobserveerd worden
gedragen zich toch net anders omdat ze weten dat ze worden opgenomen.
o De stemming van een persoon kan per dag verschillend zijn → de ene keer
heb je een lange dag en ben je vrij moe, de andere keer heb je een korte
lekkere luie dag en is de stemming weer anders.
Validiteit: extern/ecologisch
Invloeden op de externe/ecologische validiteit: → meet je wat je wil meten
• Observer reactivity (de verandering van het gedrag van een persoon op het moment
dat die weet dat die geobserveerd word): maatregelen
o Eerste 10 minuten geen observatie
o Meerdere observaties: zelfde onderzoeker
▪ Voordeel: de persoon is gewend aan de onderzoeker
, ▪ Nadeel: het kan een bodem leggen, wanneer er iets negatiefs aan bod
is gekomen kan het de grond leggen voor de volgende keer.
o Vermijd interactie → met andere actoren
• Gestructureerde vs naturalistische observatie → hebben we een taak gegeven of een
situatie uitgelokt vs. observeren we in een natuurlijke situatie die niet van tevoren is
afgesproken.
• Setting
Observatie setting
Ecologische validiteit → gaat over de mate waarin de meetresultaten representatief zijn
voor de alledaagse praktijk en dus niet alleen gelden binnen de vaak kunstmatige
testomgeving (zoals een laboratorium bij een experiment).
Thuis vs lab
• Lage correlaties tussen observaties thuis en in lab
• Enkele bevindingen:
o Moeders actiever en responsiever in lab
o Test-hertest correlaties sterker binnen setting dan tussen settings
o Verschillen in uitkomsten nemen af bij gelijke instructie
Verschillende codeermethodes
• Gedragsfrequenties (tellen)
o Specifieke definities van relevante gedragingen
→ letterlijk tellen het aantal (keer)
• Event-based
o Alleen onder bepaalde omstandigheden, gedrag coderen
→ vb disciplineringsgedrag: disciplineren op het moment dat het nodig is en
je gaat kijken wat het gedrag is.
• Micro-level (real-time)
o Micro- gedrag: vb glimlachen, fronsen, stem verheffen
o Moment-to-moment: (per tijdseenheid: vb 25x/min)
o Komt het voor: ja of nee?
→ heb je bepaald gedrag gezien binnen een bepaald tijdsbestek en hoevaak.
Dit kan zowel opgenomen worden als niet.
• Macro-level schalen
o Omschrijving schaalpunten adhv concrete gedragingen
→ vb gehechtheid of sensitiviteit, je geeft een score a.d.h.v. een bepaalde
schaal.
,Observatietraining
• Gestandaardiseerd codeerprotocol
• Intensieve training
• Betrouwbaarheidset
• Intercodeursbetrouwbaarheid
• Voorkom ‘coder drift’
→ het is een training met als doel dat
je de ‘expert-score’ kan leren geven. Hiervoor is training nodig die vrij intensief kan
zijn. Hierdoor wordt wel de betrouwbaar op een bepaald instrument. Maar je bent
nooit de enige codeur, en je kan nooit in je eentje alles coderen. Maar er wordt ook
zo nu en dan vergeleken tussen codeurs onderling. Het kan namelijk zijn dat je eigen
bril tijdens het coderen gekleurd wordt en door het met elkaar te vergelijken
voorkom je de coder drift.
Intercodeurbetrouwbaarheid
Alle neuzen dezelfde kant op!
• Berekening mate van overeenstemming:
o Tussen scores codeur & expertscore
o Tussen scores codeurs onderling
• Uitkomstmaat = categorieën: Cohen’s Kappa
o % overeenstemming (tussen 2 codeurs) gecontroleerd voor kans → dat ze per
ongeluk of per toeval dezelfde codering geven
• Uitkomstmaat = interval/ratio: Intraclass correlaties → dat er dus geen correlatie is
tussen gemiddelde van groepen maar dat het een correlatie is waarbij de score
binnen 1 observatie altijd wordt vergeleken met de score van een ander op dezelfde
observatie, dus op hetzelfde filmpje. Elk filmpje wordt dus 2x gecodeerd en dan
wordt er gekeken wat codeur A en codeur B doet.
o Correlatie tussen scores binnen elke observatie
• Je ziet de scores van codeur A en B die beide in totaal 82 filmpjes hebben gecodeerd.
Er wordt onderscheid gemaakt tussen veilig en onveilige coderingsscores. Codeur A
heeft 28x onveilig gecodeerd en 54x veilig. Codeur B heeft 32x onveilig en 50x veilig
gecodeerd.
, • Het percentage overeenstemming wordt berekend a.d.h.v. hoeveel beide codeurs
veilig en beide codeurs onveilig gecodeerd: (25+47)/82x100 = 89% = (beide onveilig+
beide veilig)/totaalx100 = percentage overeenstemming
• De kans dat ze toevallig hetzelfde hebben gecodeerd.
o We kijken eerst in hoeverre codeur A onveilig gecodeerd heeft t.a.v. codeur B
→ 28/82x100= 34% van de tijd = Onveilig A/ totaal x100= kans toevallig
hetzelfde gecodeerd van A
o Codeur B onveilig gecodeerd t.a.v. codeur A → 32/82x100= 39% van de tijd =
Onveilig B/ totaal x100= kans toevallig hetzelfde gecodeerd van B
o Deze percentages worden met elkaar vermenigvuldigd en deze uitkomst is de
Random chance of agreement on Insecure (.34 x .39 = .13, oftewel 13%) →
dit betekend het percentage dat ze beide per toeval een onveilige score
hebben gegeven.
Deel 1:
• Allerlei praktische zaken die in de pp terug te vinden zijn
Deel 2:
Mogelijke verschillende methoden
• Interviews/vragenlijsten
o Interne processen
o Dingen die niet te observeren zijn
o Dingen die je over langere tijd kan meten
▪ Je kunt meerdere meetmomenten hebben over een bepaalde periode
▪ Je kan ook in een vragenlijst vragen aan iemand om terug te laten
denken over een bepaalde periode.
• Gestandaardiseerde observatie
o Als je onbewust gedrag wil meten → dingen die je wilt zien, vb snelle
onbewuste reacties waar je je niet bewust van bent, maar wel van invloed
kunnen zijn
o Dat de interpretatie gestructureerd kan worden over hetgeen dat we
daadwerkelijk zien
o Sociaal wenselijk gedrag wordt kleiner → mensen die geobserveerd worden
gedragen zich toch net anders omdat ze weten dat ze worden opgenomen.
o De stemming van een persoon kan per dag verschillend zijn → de ene keer
heb je een lange dag en ben je vrij moe, de andere keer heb je een korte
lekkere luie dag en is de stemming weer anders.
Validiteit: extern/ecologisch
Invloeden op de externe/ecologische validiteit: → meet je wat je wil meten
• Observer reactivity (de verandering van het gedrag van een persoon op het moment
dat die weet dat die geobserveerd word): maatregelen
o Eerste 10 minuten geen observatie
o Meerdere observaties: zelfde onderzoeker
▪ Voordeel: de persoon is gewend aan de onderzoeker
, ▪ Nadeel: het kan een bodem leggen, wanneer er iets negatiefs aan bod
is gekomen kan het de grond leggen voor de volgende keer.
o Vermijd interactie → met andere actoren
• Gestructureerde vs naturalistische observatie → hebben we een taak gegeven of een
situatie uitgelokt vs. observeren we in een natuurlijke situatie die niet van tevoren is
afgesproken.
• Setting
Observatie setting
Ecologische validiteit → gaat over de mate waarin de meetresultaten representatief zijn
voor de alledaagse praktijk en dus niet alleen gelden binnen de vaak kunstmatige
testomgeving (zoals een laboratorium bij een experiment).
Thuis vs lab
• Lage correlaties tussen observaties thuis en in lab
• Enkele bevindingen:
o Moeders actiever en responsiever in lab
o Test-hertest correlaties sterker binnen setting dan tussen settings
o Verschillen in uitkomsten nemen af bij gelijke instructie
Verschillende codeermethodes
• Gedragsfrequenties (tellen)
o Specifieke definities van relevante gedragingen
→ letterlijk tellen het aantal (keer)
• Event-based
o Alleen onder bepaalde omstandigheden, gedrag coderen
→ vb disciplineringsgedrag: disciplineren op het moment dat het nodig is en
je gaat kijken wat het gedrag is.
• Micro-level (real-time)
o Micro- gedrag: vb glimlachen, fronsen, stem verheffen
o Moment-to-moment: (per tijdseenheid: vb 25x/min)
o Komt het voor: ja of nee?
→ heb je bepaald gedrag gezien binnen een bepaald tijdsbestek en hoevaak.
Dit kan zowel opgenomen worden als niet.
• Macro-level schalen
o Omschrijving schaalpunten adhv concrete gedragingen
→ vb gehechtheid of sensitiviteit, je geeft een score a.d.h.v. een bepaalde
schaal.
,Observatietraining
• Gestandaardiseerd codeerprotocol
• Intensieve training
• Betrouwbaarheidset
• Intercodeursbetrouwbaarheid
• Voorkom ‘coder drift’
→ het is een training met als doel dat
je de ‘expert-score’ kan leren geven. Hiervoor is training nodig die vrij intensief kan
zijn. Hierdoor wordt wel de betrouwbaar op een bepaald instrument. Maar je bent
nooit de enige codeur, en je kan nooit in je eentje alles coderen. Maar er wordt ook
zo nu en dan vergeleken tussen codeurs onderling. Het kan namelijk zijn dat je eigen
bril tijdens het coderen gekleurd wordt en door het met elkaar te vergelijken
voorkom je de coder drift.
Intercodeurbetrouwbaarheid
Alle neuzen dezelfde kant op!
• Berekening mate van overeenstemming:
o Tussen scores codeur & expertscore
o Tussen scores codeurs onderling
• Uitkomstmaat = categorieën: Cohen’s Kappa
o % overeenstemming (tussen 2 codeurs) gecontroleerd voor kans → dat ze per
ongeluk of per toeval dezelfde codering geven
• Uitkomstmaat = interval/ratio: Intraclass correlaties → dat er dus geen correlatie is
tussen gemiddelde van groepen maar dat het een correlatie is waarbij de score
binnen 1 observatie altijd wordt vergeleken met de score van een ander op dezelfde
observatie, dus op hetzelfde filmpje. Elk filmpje wordt dus 2x gecodeerd en dan
wordt er gekeken wat codeur A en codeur B doet.
o Correlatie tussen scores binnen elke observatie
• Je ziet de scores van codeur A en B die beide in totaal 82 filmpjes hebben gecodeerd.
Er wordt onderscheid gemaakt tussen veilig en onveilige coderingsscores. Codeur A
heeft 28x onveilig gecodeerd en 54x veilig. Codeur B heeft 32x onveilig en 50x veilig
gecodeerd.
, • Het percentage overeenstemming wordt berekend a.d.h.v. hoeveel beide codeurs
veilig en beide codeurs onveilig gecodeerd: (25+47)/82x100 = 89% = (beide onveilig+
beide veilig)/totaalx100 = percentage overeenstemming
• De kans dat ze toevallig hetzelfde hebben gecodeerd.
o We kijken eerst in hoeverre codeur A onveilig gecodeerd heeft t.a.v. codeur B
→ 28/82x100= 34% van de tijd = Onveilig A/ totaal x100= kans toevallig
hetzelfde gecodeerd van A
o Codeur B onveilig gecodeerd t.a.v. codeur A → 32/82x100= 39% van de tijd =
Onveilig B/ totaal x100= kans toevallig hetzelfde gecodeerd van B
o Deze percentages worden met elkaar vermenigvuldigd en deze uitkomst is de
Random chance of agreement on Insecure (.34 x .39 = .13, oftewel 13%) →
dit betekend het percentage dat ze beide per toeval een onveilige score
hebben gegeven.
