Colleges
Week 1 – Introductie
College deel 2 – Introductie observatiemethodes in onderzoek
- Vragenlijst/interview: beter voor inzicht in interne processen (ideeën, gevoelens,
gedachten); en beter voor constructen over langere tijd: meerdere meetmomenten, of
vragenlijst over een afgelopen tijd of sinds kindertijd bijv.
- Gestandaardiseerde observatie: beter voor onbewust gedrag; uniforme interpretatie
construct; uitfilteren sociale wenselijkheid en effect van stemming.
Validiteit: extern/ecologisch
Invloeden op de externe/ecologische validiteit:
- Observer reactivity: maatregelen (om te zorgen dat gedrag van de geobserveerde niet
te veel verandert door de observatie)
o Eerste 10 minuten geen observatie
o Meerdere observaties: zelfde onderzoeker of juist niet
o Vermijd interactie
- Gestructureerde vs. Naturalistische observatie
o Naturalistisch: lijkt goede afspiegeling van werkelijkheid; maar sommige
gedragingen komen niet vaak voor dus dan mis je dingen.
o Gestructureerd: gedrag uitlokken wat niet vaak voorkomt.
- Setting:
o Thuis: hoge ecologische validiteit (want ouder in eigen setting), meer ruis
(deurbel kan gaan, telefoon, ouder aan het koken, etc etc).
o Lab: lage ecologische validiteit, minder ruis (precies de setting structureren en
controleren;).
Thuis versus lab:
- Lage correlaties tussen observaties thuis en in lab
- Enkele bevindingen:
o Moeders actiever en responsiever in lab
o Test-hertest correlaties sterker binnen setting dan tussen setting
o Verschillen in uitkomsten nemen af bij gelijke instructie
Verschillende codeermethodes
- Gedragsfrequenties (tellen)
o Specifieke definities van relevante gedragingen
- Event-based
o Alleen onder bepaalde omstandigheden gedrag coderen (dus bijv. als kind
ongehoorzaam is, disciplineringsgedrag)
- Micro-level (real-time)
o Micro-gedrag; bijv. glimlachen, fronsen, stem verheffen binnen 30 sec.
o Moment-to-moment (per tijdseenheid)
o Komt het voor: ja of nee?
- Macro-level schalen:
o Omschrijving schaalpunten a.d.h.v. concrete gedragingen. Bijv. gehechtheid
categorieën. Verschillende gedrag soorten en kenmerken samenvatten in 1
score.
, Observatietraining:
- Gestandaardiseerd codeerprotocol
- Intensieve training
- Betrouwbaarheidset
- Intercodeursbetrouwbaarheid (binnen één onderzoek de verschillende codeurs
vergelijken)
- Voorkom “coder drift”
Betrouwbaar als codeur wanneer je dezelfde scores geeft aan iets als een expert.
Intercodeurbetrouwbaarheid
Alle neuzen dezelfde kant op!
- Berekening mate van overeenstemming:
o Tussen scores codeurs & expertscore
o Tussen scores codeurs onderling
- Uitkomstmaat = categorieën: Cohen’s Kappa
o % overeenstemming gecontroleerd voor kans (vanaf .7 betrouwbaarheid in
orde)
- Uitkomstmaat = interval/ratio: intraclass correlations
o Correlatie tussen scores binnen elke observatie
- Ordinal/interval/ratio: intraclass correlations
o Geen Pearson, want intraclass laat overeenstemming tussen scores zien
Inferentieniveau: mate waarin instrument gevoelig is voor subjectiviteit/interpretatie en
daarmee hoeveel training nodig is om instrument onder de knie te krijgen.
Gedragsfrequentie: laag
Event-based: medium
Micro level schalen: laag
Macro level schalen: hoog
Grootschalig (longitudinale) onderzoeksprojecten
- Coderen meerdere gedragingen meerdere keren
- Grotere kans op subjectiviteit als:
o Je het gezin hebt bezocht (want je hebt ze gezien en ook andere gedragingen
hebt gezien)
o Je dezelfde persoon al eerder hebt gecodeerd
Op zelfde construct
Op ander construct
- Codeerrestricties: observator codeert niet de filmpjes, en je codeert niet hetzelfde
gezin op meerdere constructen, en niet op meerdere momenten.
Coder bias: systematische variatie in scores die samenhangen met kenmerken codeur i.p.v.
relevante gedragingen van de persoon die wordt geobserveerd.
- Voorbeeld: etniciteit
o Intercodeur betrouwbaarheid groter tussen codeur met zelfde achtergrond
o Codeurs positiever over participanten met zelfde achtergrond
o Training beperkt dit type bias, maar neem het niet weg.
College deel 3: Ethische overwegingen van onderzoek
Sinds 2018: AVG.
- Dataminimalisatie
Week 1 – Introductie
College deel 2 – Introductie observatiemethodes in onderzoek
- Vragenlijst/interview: beter voor inzicht in interne processen (ideeën, gevoelens,
gedachten); en beter voor constructen over langere tijd: meerdere meetmomenten, of
vragenlijst over een afgelopen tijd of sinds kindertijd bijv.
- Gestandaardiseerde observatie: beter voor onbewust gedrag; uniforme interpretatie
construct; uitfilteren sociale wenselijkheid en effect van stemming.
Validiteit: extern/ecologisch
Invloeden op de externe/ecologische validiteit:
- Observer reactivity: maatregelen (om te zorgen dat gedrag van de geobserveerde niet
te veel verandert door de observatie)
o Eerste 10 minuten geen observatie
o Meerdere observaties: zelfde onderzoeker of juist niet
o Vermijd interactie
- Gestructureerde vs. Naturalistische observatie
o Naturalistisch: lijkt goede afspiegeling van werkelijkheid; maar sommige
gedragingen komen niet vaak voor dus dan mis je dingen.
o Gestructureerd: gedrag uitlokken wat niet vaak voorkomt.
- Setting:
o Thuis: hoge ecologische validiteit (want ouder in eigen setting), meer ruis
(deurbel kan gaan, telefoon, ouder aan het koken, etc etc).
o Lab: lage ecologische validiteit, minder ruis (precies de setting structureren en
controleren;).
Thuis versus lab:
- Lage correlaties tussen observaties thuis en in lab
- Enkele bevindingen:
o Moeders actiever en responsiever in lab
o Test-hertest correlaties sterker binnen setting dan tussen setting
o Verschillen in uitkomsten nemen af bij gelijke instructie
Verschillende codeermethodes
- Gedragsfrequenties (tellen)
o Specifieke definities van relevante gedragingen
- Event-based
o Alleen onder bepaalde omstandigheden gedrag coderen (dus bijv. als kind
ongehoorzaam is, disciplineringsgedrag)
- Micro-level (real-time)
o Micro-gedrag; bijv. glimlachen, fronsen, stem verheffen binnen 30 sec.
o Moment-to-moment (per tijdseenheid)
o Komt het voor: ja of nee?
- Macro-level schalen:
o Omschrijving schaalpunten a.d.h.v. concrete gedragingen. Bijv. gehechtheid
categorieën. Verschillende gedrag soorten en kenmerken samenvatten in 1
score.
, Observatietraining:
- Gestandaardiseerd codeerprotocol
- Intensieve training
- Betrouwbaarheidset
- Intercodeursbetrouwbaarheid (binnen één onderzoek de verschillende codeurs
vergelijken)
- Voorkom “coder drift”
Betrouwbaar als codeur wanneer je dezelfde scores geeft aan iets als een expert.
Intercodeurbetrouwbaarheid
Alle neuzen dezelfde kant op!
- Berekening mate van overeenstemming:
o Tussen scores codeurs & expertscore
o Tussen scores codeurs onderling
- Uitkomstmaat = categorieën: Cohen’s Kappa
o % overeenstemming gecontroleerd voor kans (vanaf .7 betrouwbaarheid in
orde)
- Uitkomstmaat = interval/ratio: intraclass correlations
o Correlatie tussen scores binnen elke observatie
- Ordinal/interval/ratio: intraclass correlations
o Geen Pearson, want intraclass laat overeenstemming tussen scores zien
Inferentieniveau: mate waarin instrument gevoelig is voor subjectiviteit/interpretatie en
daarmee hoeveel training nodig is om instrument onder de knie te krijgen.
Gedragsfrequentie: laag
Event-based: medium
Micro level schalen: laag
Macro level schalen: hoog
Grootschalig (longitudinale) onderzoeksprojecten
- Coderen meerdere gedragingen meerdere keren
- Grotere kans op subjectiviteit als:
o Je het gezin hebt bezocht (want je hebt ze gezien en ook andere gedragingen
hebt gezien)
o Je dezelfde persoon al eerder hebt gecodeerd
Op zelfde construct
Op ander construct
- Codeerrestricties: observator codeert niet de filmpjes, en je codeert niet hetzelfde
gezin op meerdere constructen, en niet op meerdere momenten.
Coder bias: systematische variatie in scores die samenhangen met kenmerken codeur i.p.v.
relevante gedragingen van de persoon die wordt geobserveerd.
- Voorbeeld: etniciteit
o Intercodeur betrouwbaarheid groter tussen codeur met zelfde achtergrond
o Codeurs positiever over participanten met zelfde achtergrond
o Training beperkt dit type bias, maar neem het niet weg.
College deel 3: Ethische overwegingen van onderzoek
Sinds 2018: AVG.
- Dataminimalisatie
