Onderzoekspraktijk hoorcolleges
Hoorcollege 1- aantekeningen
Case studie (gevalsstudie):
- Gedetailleerd onderzoek van één specifiek geval of een klein aantal gevallen
- Potentieel rijke opname van materiaal waarin observaties gemaakt kunnen worden op
verschillende niveaus
Een geval kan van alles zijn: bv een veranderingsproces
De context is belangrijk: hoe verhoudt het geval zich tot de context?
Single case experiment hier focussen we op
- Bij een single case experiment ga je herhaald onder onveranderde omstandigheden observeren
daarna implementeer je een bepaalde verandering en dan ga je weer herhaald observeren.
Soorten effecten:
- Wanneer een patroon geobserveerd wordt in de interventie wat precies is wat je zou verwachten
op basis van de baseline noemen we dit: geen effect
- Wanneer je bij de baseline een licht stijgende trend observeert en deze na invoering van de
experimentele conditie deze trend veel sterker stijgt noemen we dit: een trendbreuk (de helling
verandert)
- Wanneer het patroon een sprong maakt noemen we dit: niveau verandering
Een niveau verandering en trend breuk kunnen ook tegelijk voorkomen
Interne validiteit: mate waarin een onderzoeksopzet toestaat dat er causale conclusies getrokken kunnen
worden
- Hiervoor is het van belang om alternatieve verklaringen uit te sluiten
Daarom van belang om te randomiseren
Bedreigingen interne validiteit
Rijping
- Natuurlijke processen die het effect van de condities beïnvloeden
- Stel iedereen zelfde volgorde: A begin van de week en B op het eind: aan het begin is iedereen
nog fit op het eind is iedereen aan weekend toe
Geschiedenis
- Elke (niet bedoelde) gebeurtenis die plaats vindt voor de meting of tussen twee herhaalde
metingen
- Staking/ geluidsapparatuur die tijdelijk uitvalt/ verplaatsing hoofdkantoor etc.
Testen
- De invloed van (het afnemen van) een test op proefpersonen
- Herhaald testen kan een leereffect hebben
, - Men kan het doel van het onderzoek achterhalen of antwoorden onthouden
- Reactiviteit: testen kunnen proefpersonen bewust maken van bepaald gedrag/ men gaat anders
gedragen door dat ze getest worden
- Sensitizaltion = dat deelnemers gevoeliger worden voor een meting of situatie door eerdere
blootstelling aan vergelijkbare metingen of situaties
Oplossing solomon four group design (1 groep krijgt zowel na als voormeting, 1 alleen voor, 1
alleen na, 1 groep niks)
Instrumentatie
- Meetprocedure is niet gelijk bij diverse metingen
- Observer drift: Observator verandert manier van meten/scoren
- De observators leren beter op de juiste dingen letter of ze worden juist nonchalanter (daarom
blijven wisselen tussen observatoren)
Oplossingen: trainingen/toezicht op observators/meetprocedures, counterbalacing
Regressie
- Regressie naar het gemiddelde: als je een extreme score observeert bij de voormeting is de kans
als je het nog een keer observeert de score dichter bij het gemiddelde gaat liggen heel hoog
- Bij dit type ontwerp hebben we hier niet heel veel last van omdat dit speelt als je iets voor een
tweede keer observeert maar hier observeren we veel vaker dan twee keer. Waardoor er dan
niet meteen regressie naar het gemiddelde is met een extreme score.
Diffusion of treatment
- Verschillende experimentele condities kunnen door elkaar heen gaan lopen (carry over effecten)
Niet alle combinaties van ingrepen zijn mogelijk (als iemand iets geleerd heeft kan hij/zij
datzelfde niet nogmaals leren: of eerst staartdeling leren, en daarna vermenigvuldigen kan niet)
Selectie
- Groepen niet random samengesteld systematische verschillen
- Stel afdeling 1 (A: achtergrondgeluid) en afdeling 2 (B geen geluid)
Interactie effect tussen rijping en selectie
- De combinatie van selectie en rijping zorgt voor het effect
Uitval
- Mortality (uitval) = Drop-out van subjecten tijdens de studie
- Differential morality: wanneer aantal uitvallers verschillen tussen experimentele groepen (interne
validiteit)
- Uitvallers kunnen afwijken van de doorzetters en visa versa.
- Deelnemers aan een experiment die niet komen opdagen bij de tweede meting
- Geen deelnemers te vinden voor een controle groep
Construct validiteit = heb ik gemeten wat ik beoogde te meten?
- Triangulatie: gebruiken van meerdere manieren van bewijs
Externe validiteit = is het onderzoek te generaliseren?
- Replicatie: vind ik in andere (extremere) case ook bewijs voor deze theorie terug?
, - Soort steekproef van belang:
Gelegenheidssteekproef/ selecte steekproef: gevallen die makkelijkst te bereiken zijn
convenience sampling, snowball sampling, purposive sampling (deelnemers geselecteerd op
bepaalde relevante kenmerken, quota sampling (deelnemers worden geselecteerd om te voldoen
aan vooraf bepaalde quota op basis van bepaalde kenmerken zoals geslacht, leeftijd, etniciteit)
- Probability sampling/ aselect steekproef Simple random sampling, stratified random sampling,
cluster sampling.
Domeinen casestudie generaliseren
- Populatievaliditeit: voor welke leden van welke populaties is deze procedure nuttig of
toepasbaar?
- Ecologische validiteit: in hoeverre kunnen de bevindingen worden gerepliceerd met verschillende
therapeuten, instellingen en meetprocedures?
- Manipulatievaliditeit: zal een conceptueel vergelijkbare interventie hetzelfde effect hebben?
Literatuur – hc 1
Rival theorie = Concurrerende theorie. Geeft aan waarom bepaalde methode juist niet zou werken of
geeft andere verklaring voor gevonden uitkomst. Versterkt onderzoeksdesign en schept theoretisch
denken
Idiografische metingen = Meting die op maat is gemaakt voor het individu
Bij case studies worden vaak diverse bewijzen gebruikt zoals documentatie, archiefbestanden, interviews,
directe observatie, participatie observatie en fysieke artefacten
Triangulatie: drie of meer bewijsmaterialen moeten samen bewijs leveren om de nulhypothese
te verwerpen convergeren van verschillende bronnen van bewijs om tot een 'feit' te komen.
Selectie van Cases
- Kritieke Cases:
Tegenvoorbeeld, kijk hoever je kan gaan met falsificeerbaarheid van de theorie.
- Unieke/Extreme Cases:
Bijzondere, extreme gevallen om theorieën te testen.
- Representatieve/Typerende Cases:
Zeker zijn dat het een bijzonder of typerend geval is.
- Onthullende Cases:
Eerste geval van een nieuwe aandoening of theorie.
- Longitudinale Cases:
Herhaald observeren van specifieke gevallen over tijd.
Soorten case onderzoek
- Case studies: verhalend en bevatten kwalitatieve gegevens. Ze zijn bedoeld om een beschrijvend
en interpreterend verslag te geven van wat er is gebeurd, zonder manipulatie van variabelen. Bv
beoordeling van beroepsbekwaamheid door supervisie of gesprekken met collega’s
- Single case kwantitatieve analyse: kwantitatieve gegevens verzameld en geanalyseerd zonder
directe manipulatie van de betrokken variabele
- Single case experimenten: Case-studies waarbij een experiment wordt uitgevoerd. Ze bevatten
kwantitatieve gegevens en directe manipulatie, waardoor valide conclusies kunnen worden
getrokken over de impact van de behandeling
Hoorcollege 1- aantekeningen
Case studie (gevalsstudie):
- Gedetailleerd onderzoek van één specifiek geval of een klein aantal gevallen
- Potentieel rijke opname van materiaal waarin observaties gemaakt kunnen worden op
verschillende niveaus
Een geval kan van alles zijn: bv een veranderingsproces
De context is belangrijk: hoe verhoudt het geval zich tot de context?
Single case experiment hier focussen we op
- Bij een single case experiment ga je herhaald onder onveranderde omstandigheden observeren
daarna implementeer je een bepaalde verandering en dan ga je weer herhaald observeren.
Soorten effecten:
- Wanneer een patroon geobserveerd wordt in de interventie wat precies is wat je zou verwachten
op basis van de baseline noemen we dit: geen effect
- Wanneer je bij de baseline een licht stijgende trend observeert en deze na invoering van de
experimentele conditie deze trend veel sterker stijgt noemen we dit: een trendbreuk (de helling
verandert)
- Wanneer het patroon een sprong maakt noemen we dit: niveau verandering
Een niveau verandering en trend breuk kunnen ook tegelijk voorkomen
Interne validiteit: mate waarin een onderzoeksopzet toestaat dat er causale conclusies getrokken kunnen
worden
- Hiervoor is het van belang om alternatieve verklaringen uit te sluiten
Daarom van belang om te randomiseren
Bedreigingen interne validiteit
Rijping
- Natuurlijke processen die het effect van de condities beïnvloeden
- Stel iedereen zelfde volgorde: A begin van de week en B op het eind: aan het begin is iedereen
nog fit op het eind is iedereen aan weekend toe
Geschiedenis
- Elke (niet bedoelde) gebeurtenis die plaats vindt voor de meting of tussen twee herhaalde
metingen
- Staking/ geluidsapparatuur die tijdelijk uitvalt/ verplaatsing hoofdkantoor etc.
Testen
- De invloed van (het afnemen van) een test op proefpersonen
- Herhaald testen kan een leereffect hebben
, - Men kan het doel van het onderzoek achterhalen of antwoorden onthouden
- Reactiviteit: testen kunnen proefpersonen bewust maken van bepaald gedrag/ men gaat anders
gedragen door dat ze getest worden
- Sensitizaltion = dat deelnemers gevoeliger worden voor een meting of situatie door eerdere
blootstelling aan vergelijkbare metingen of situaties
Oplossing solomon four group design (1 groep krijgt zowel na als voormeting, 1 alleen voor, 1
alleen na, 1 groep niks)
Instrumentatie
- Meetprocedure is niet gelijk bij diverse metingen
- Observer drift: Observator verandert manier van meten/scoren
- De observators leren beter op de juiste dingen letter of ze worden juist nonchalanter (daarom
blijven wisselen tussen observatoren)
Oplossingen: trainingen/toezicht op observators/meetprocedures, counterbalacing
Regressie
- Regressie naar het gemiddelde: als je een extreme score observeert bij de voormeting is de kans
als je het nog een keer observeert de score dichter bij het gemiddelde gaat liggen heel hoog
- Bij dit type ontwerp hebben we hier niet heel veel last van omdat dit speelt als je iets voor een
tweede keer observeert maar hier observeren we veel vaker dan twee keer. Waardoor er dan
niet meteen regressie naar het gemiddelde is met een extreme score.
Diffusion of treatment
- Verschillende experimentele condities kunnen door elkaar heen gaan lopen (carry over effecten)
Niet alle combinaties van ingrepen zijn mogelijk (als iemand iets geleerd heeft kan hij/zij
datzelfde niet nogmaals leren: of eerst staartdeling leren, en daarna vermenigvuldigen kan niet)
Selectie
- Groepen niet random samengesteld systematische verschillen
- Stel afdeling 1 (A: achtergrondgeluid) en afdeling 2 (B geen geluid)
Interactie effect tussen rijping en selectie
- De combinatie van selectie en rijping zorgt voor het effect
Uitval
- Mortality (uitval) = Drop-out van subjecten tijdens de studie
- Differential morality: wanneer aantal uitvallers verschillen tussen experimentele groepen (interne
validiteit)
- Uitvallers kunnen afwijken van de doorzetters en visa versa.
- Deelnemers aan een experiment die niet komen opdagen bij de tweede meting
- Geen deelnemers te vinden voor een controle groep
Construct validiteit = heb ik gemeten wat ik beoogde te meten?
- Triangulatie: gebruiken van meerdere manieren van bewijs
Externe validiteit = is het onderzoek te generaliseren?
- Replicatie: vind ik in andere (extremere) case ook bewijs voor deze theorie terug?
, - Soort steekproef van belang:
Gelegenheidssteekproef/ selecte steekproef: gevallen die makkelijkst te bereiken zijn
convenience sampling, snowball sampling, purposive sampling (deelnemers geselecteerd op
bepaalde relevante kenmerken, quota sampling (deelnemers worden geselecteerd om te voldoen
aan vooraf bepaalde quota op basis van bepaalde kenmerken zoals geslacht, leeftijd, etniciteit)
- Probability sampling/ aselect steekproef Simple random sampling, stratified random sampling,
cluster sampling.
Domeinen casestudie generaliseren
- Populatievaliditeit: voor welke leden van welke populaties is deze procedure nuttig of
toepasbaar?
- Ecologische validiteit: in hoeverre kunnen de bevindingen worden gerepliceerd met verschillende
therapeuten, instellingen en meetprocedures?
- Manipulatievaliditeit: zal een conceptueel vergelijkbare interventie hetzelfde effect hebben?
Literatuur – hc 1
Rival theorie = Concurrerende theorie. Geeft aan waarom bepaalde methode juist niet zou werken of
geeft andere verklaring voor gevonden uitkomst. Versterkt onderzoeksdesign en schept theoretisch
denken
Idiografische metingen = Meting die op maat is gemaakt voor het individu
Bij case studies worden vaak diverse bewijzen gebruikt zoals documentatie, archiefbestanden, interviews,
directe observatie, participatie observatie en fysieke artefacten
Triangulatie: drie of meer bewijsmaterialen moeten samen bewijs leveren om de nulhypothese
te verwerpen convergeren van verschillende bronnen van bewijs om tot een 'feit' te komen.
Selectie van Cases
- Kritieke Cases:
Tegenvoorbeeld, kijk hoever je kan gaan met falsificeerbaarheid van de theorie.
- Unieke/Extreme Cases:
Bijzondere, extreme gevallen om theorieën te testen.
- Representatieve/Typerende Cases:
Zeker zijn dat het een bijzonder of typerend geval is.
- Onthullende Cases:
Eerste geval van een nieuwe aandoening of theorie.
- Longitudinale Cases:
Herhaald observeren van specifieke gevallen over tijd.
Soorten case onderzoek
- Case studies: verhalend en bevatten kwalitatieve gegevens. Ze zijn bedoeld om een beschrijvend
en interpreterend verslag te geven van wat er is gebeurd, zonder manipulatie van variabelen. Bv
beoordeling van beroepsbekwaamheid door supervisie of gesprekken met collega’s
- Single case kwantitatieve analyse: kwantitatieve gegevens verzameld en geanalyseerd zonder
directe manipulatie van de betrokken variabele
- Single case experimenten: Case-studies waarbij een experiment wordt uitgevoerd. Ze bevatten
kwantitatieve gegevens en directe manipulatie, waardoor valide conclusies kunnen worden
getrokken over de impact van de behandeling
