1
Samenvatting Onderzoekspraktijk: Hoorcolleges
, 2
Hoorcollege 1 – Case studies (specifiek geval: Single-Case Experimental Design)
Case studies (gevalstudies)
Kenmerken
- 1 geval/beperkt aantal gevallen > random steekproef niet mogelijk
- Op zichzelf staand > niet generiek
- Theoretische vraag: ‘hoe’ en ‘waarom’
- Context/omgeving van belang
- Overeenstemming experimenten
- Persoon, groep, gebeurtenis, proces:
individuen, organisaties, landen, groepen, patiënten
interactievormen, beslissingen, projecten, onderzoeksopzet
Generalisatie
Niet: Statische generalisatie naar populatie, daarna implicaties voor theorie (survey onderzoek)
Maar: Generalisatie direct naar theorie = conclusies gaan direct over theorie (net als experiment)
- Letterlijke replicatie = hebt theorie, kijkt of in nieuw geval observeert
- Theoretische replicatie = kijkt vanuit theorie, wat zijn grenzen van theorie
(wanneer wel/niet, andere oorzaken uitsluiten)
Soorten case studie
Imbedded case studie = 1 case met meerdere units, case gaat over geheel van units (dynamiek
tussen directeuren binnen organisatie, case: wisselwerking tussen personen, unit: gedrag directeur)
Multiple case design = meerdere gevallen kijken of zelfde tegenkomt, replicatie
- Exploratief = doel om theorie te vormen vanuit het niets
- Verklarend = hebt al theorie, kijken naar oorzakelijk verband/verklaring
- Beschrijvend = hebt al theorie, maar geen causale theorie
Selectie van cases
Met case moet een theorie kunnen worden getoetst (theoretische replicatie)
- Kritieke cases = verwacht dat theorie opgaat, zo niet dan theorie ontkracht
(theorie alle zwanen wit, totdat zwarte zwaan)
- Unieke/extreme cases: gaat theorie nog op?
- Representatieve/typerende cases
- Onthullende cases = iets wat je voor eerst observeert
- Longitudinale cases = cases die over de tijd zijn gevolgd
, 3
Soorten bewijs
- Documenten
- Archieven
- Interviews: open vragen, breedte van onderwerp
- Directe observatie
- Participant observatie
- Fysieke artefacten: slijtsporen etc.
Kwaliteitseisen case study
Constructvaliditeit = meet ik wat ik wil meten (valide meetinstrumenten)
- Triangulatie = via meerdere bewijsbronnen of bepaalde theoretische veronderstelling opgaat
- Chain of evidence = volgorde observaties bijhouden zo onderbouwing totstandkoming bewijs
Interne validiteit = uitspraken over causaliteit geoorloofd (niet of die er zijn)
- Pattern-matching = kijkt of patroon theoretisch verwachting past op geobserveerde patroon
- Logic models = oorzaak-gevolg ketens, theoretische past bij geobserveerde
Externe validiteit = in hoeverre bevindingen generaliseren naar grote groep/algemeen
- Theoretische onderbouwing nodig voor aanwijzingen voor bepaalde theorie (replicatie)
- Populatievaliditeit = voor welke populatie zijn de resultaten nuttig?
Ecologische validiteit = in hoeverre kunnen bevindingen gereproduceerd worden door
verschillende onderzoeken/settings/meetprocedures
Manipulatievaliditeit = zal een soortgelijke interventie hetzelfde effect hebben?
Betrouwbaarheid
- Protocol volgen, want 1 geval
Test Tactiek
Construct validiteit Gebruik meerdere bronnen van bewijs (= triangulatie)
Stel bewijsketen samen
Laat sleutelinformanten het ontwerp van casestudyverslag beoordelen
Interne validiteit Patroonovereenkomst maken (= pattern matching)
Bouw uitleg
Analyse van tijdreeksen maken
Logische modellen maken (oorzaak gevolg)
Rivaliserende verklaringen uitsluiten
Externe validiteit Gebruik rivaliserende theorieën binnen single cases
Gebruik replicatielogica in meervoudige-casestudies
Betrouwbaarheid Gebruik het protocol voor casestudie
Ontwikkel een casestudie-database
, 4
Kwantitatief Single case experiments
Actieve manipulatie = 1 factor beïnvloedt door onderzoeker
Baseline = periode niks gebeurt (baselineobservaties)
Treatment = periode van interventie
Follow up = periode na interventie (effect interventie)
Soorten metingen
- Gestandaardiseerd = begin/eind onderzoek, vergelijken voor effect interventie (vragenlijst)
- Target = hele onderzoek herhaald, specifiek construct, afhankelijke variabele
- Proces = ieder moment mogelijk, gestandaardiseerd/personaliseerd (gebruik nieuwe lesmethode)
Variatie tussen/binnen subjecten
Tussen subjecten
- Onafhankelijke steekproeven
- Elk subject een conditie door loting
- Beide groepen vergelijken
Binnen subjecten (vooral in geïnteresseerd)
- Afhankelijke steekproeven
- Elk subject beide condities, volgorde verschilt door loting (counterbalancing)
- Herhaald observeren: zekerheid over niveau variabelen
- Vergelijk: A en B, bepalen gemiddelde verschil
AB met BA, voor volgorde-effect
Bedreigingen interne validiteit
Alternatieve verklaringen uitsluiten
Rijping (maturation) = natuurlijke processen die het effect van condities beïnvloeden
Geschiedenis (history) = levensgebeurtenis die effect op interventie veroorzaakt
Testen (testing) = invloed van afnemen van test op proefpersonen, herhaald testen
Instrumentatie (instrumentation) = meetprocedure is niet gelijk bij diverse metingen
Regressie (regression) = naar gemiddelde, als verband tussen voor/nameting niet perfect is, zijn
extreme scores op voormeting minder extreem dan op nameting
Starten casestudy
-Zoek convergerende bewijzen
-Definieer onderzoeksvragen voorzichtig: hoe en waarom
-Ontwikkel theorie om casestudy te ontwerpen: Rivaliserende theorie
Poging om zelfde uitkomst met andere theorie te verklaren, versterkt ontwerp/theoretisch denken
-Onderscheid verklarende, beschrijvende, explorerende casestudies
-Definieer eenheden (subject/case, context) van analyse
-Onderscheid Holistic: single casestudie = met 1 hoofdanalyse-eenheid
Embedded: multiple casestudies = met 1 hoofdeenheid en subeenheden van analyse
-Generaliseren van single-casestudies:
Niet statistische generalisatie = generaliseren van steekproef naar universum
Maar analytische generalisatie = gebruik van enkele/meerdere cases om theorie te representeren
-Hoe meer zekerheid, hoe meer replicaties nodig (significantielevel)
Literale replicatie = versterken, produceren ondersteunend bewijsmateriaal uit 2/+ gevallen
Theoretische replicatie = verbreden
-Blijf continu kwaliteit van je design controleren: testen
Samenvatting Onderzoekspraktijk: Hoorcolleges
, 2
Hoorcollege 1 – Case studies (specifiek geval: Single-Case Experimental Design)
Case studies (gevalstudies)
Kenmerken
- 1 geval/beperkt aantal gevallen > random steekproef niet mogelijk
- Op zichzelf staand > niet generiek
- Theoretische vraag: ‘hoe’ en ‘waarom’
- Context/omgeving van belang
- Overeenstemming experimenten
- Persoon, groep, gebeurtenis, proces:
individuen, organisaties, landen, groepen, patiënten
interactievormen, beslissingen, projecten, onderzoeksopzet
Generalisatie
Niet: Statische generalisatie naar populatie, daarna implicaties voor theorie (survey onderzoek)
Maar: Generalisatie direct naar theorie = conclusies gaan direct over theorie (net als experiment)
- Letterlijke replicatie = hebt theorie, kijkt of in nieuw geval observeert
- Theoretische replicatie = kijkt vanuit theorie, wat zijn grenzen van theorie
(wanneer wel/niet, andere oorzaken uitsluiten)
Soorten case studie
Imbedded case studie = 1 case met meerdere units, case gaat over geheel van units (dynamiek
tussen directeuren binnen organisatie, case: wisselwerking tussen personen, unit: gedrag directeur)
Multiple case design = meerdere gevallen kijken of zelfde tegenkomt, replicatie
- Exploratief = doel om theorie te vormen vanuit het niets
- Verklarend = hebt al theorie, kijken naar oorzakelijk verband/verklaring
- Beschrijvend = hebt al theorie, maar geen causale theorie
Selectie van cases
Met case moet een theorie kunnen worden getoetst (theoretische replicatie)
- Kritieke cases = verwacht dat theorie opgaat, zo niet dan theorie ontkracht
(theorie alle zwanen wit, totdat zwarte zwaan)
- Unieke/extreme cases: gaat theorie nog op?
- Representatieve/typerende cases
- Onthullende cases = iets wat je voor eerst observeert
- Longitudinale cases = cases die over de tijd zijn gevolgd
, 3
Soorten bewijs
- Documenten
- Archieven
- Interviews: open vragen, breedte van onderwerp
- Directe observatie
- Participant observatie
- Fysieke artefacten: slijtsporen etc.
Kwaliteitseisen case study
Constructvaliditeit = meet ik wat ik wil meten (valide meetinstrumenten)
- Triangulatie = via meerdere bewijsbronnen of bepaalde theoretische veronderstelling opgaat
- Chain of evidence = volgorde observaties bijhouden zo onderbouwing totstandkoming bewijs
Interne validiteit = uitspraken over causaliteit geoorloofd (niet of die er zijn)
- Pattern-matching = kijkt of patroon theoretisch verwachting past op geobserveerde patroon
- Logic models = oorzaak-gevolg ketens, theoretische past bij geobserveerde
Externe validiteit = in hoeverre bevindingen generaliseren naar grote groep/algemeen
- Theoretische onderbouwing nodig voor aanwijzingen voor bepaalde theorie (replicatie)
- Populatievaliditeit = voor welke populatie zijn de resultaten nuttig?
Ecologische validiteit = in hoeverre kunnen bevindingen gereproduceerd worden door
verschillende onderzoeken/settings/meetprocedures
Manipulatievaliditeit = zal een soortgelijke interventie hetzelfde effect hebben?
Betrouwbaarheid
- Protocol volgen, want 1 geval
Test Tactiek
Construct validiteit Gebruik meerdere bronnen van bewijs (= triangulatie)
Stel bewijsketen samen
Laat sleutelinformanten het ontwerp van casestudyverslag beoordelen
Interne validiteit Patroonovereenkomst maken (= pattern matching)
Bouw uitleg
Analyse van tijdreeksen maken
Logische modellen maken (oorzaak gevolg)
Rivaliserende verklaringen uitsluiten
Externe validiteit Gebruik rivaliserende theorieën binnen single cases
Gebruik replicatielogica in meervoudige-casestudies
Betrouwbaarheid Gebruik het protocol voor casestudie
Ontwikkel een casestudie-database
, 4
Kwantitatief Single case experiments
Actieve manipulatie = 1 factor beïnvloedt door onderzoeker
Baseline = periode niks gebeurt (baselineobservaties)
Treatment = periode van interventie
Follow up = periode na interventie (effect interventie)
Soorten metingen
- Gestandaardiseerd = begin/eind onderzoek, vergelijken voor effect interventie (vragenlijst)
- Target = hele onderzoek herhaald, specifiek construct, afhankelijke variabele
- Proces = ieder moment mogelijk, gestandaardiseerd/personaliseerd (gebruik nieuwe lesmethode)
Variatie tussen/binnen subjecten
Tussen subjecten
- Onafhankelijke steekproeven
- Elk subject een conditie door loting
- Beide groepen vergelijken
Binnen subjecten (vooral in geïnteresseerd)
- Afhankelijke steekproeven
- Elk subject beide condities, volgorde verschilt door loting (counterbalancing)
- Herhaald observeren: zekerheid over niveau variabelen
- Vergelijk: A en B, bepalen gemiddelde verschil
AB met BA, voor volgorde-effect
Bedreigingen interne validiteit
Alternatieve verklaringen uitsluiten
Rijping (maturation) = natuurlijke processen die het effect van condities beïnvloeden
Geschiedenis (history) = levensgebeurtenis die effect op interventie veroorzaakt
Testen (testing) = invloed van afnemen van test op proefpersonen, herhaald testen
Instrumentatie (instrumentation) = meetprocedure is niet gelijk bij diverse metingen
Regressie (regression) = naar gemiddelde, als verband tussen voor/nameting niet perfect is, zijn
extreme scores op voormeting minder extreem dan op nameting
Starten casestudy
-Zoek convergerende bewijzen
-Definieer onderzoeksvragen voorzichtig: hoe en waarom
-Ontwikkel theorie om casestudy te ontwerpen: Rivaliserende theorie
Poging om zelfde uitkomst met andere theorie te verklaren, versterkt ontwerp/theoretisch denken
-Onderscheid verklarende, beschrijvende, explorerende casestudies
-Definieer eenheden (subject/case, context) van analyse
-Onderscheid Holistic: single casestudie = met 1 hoofdanalyse-eenheid
Embedded: multiple casestudies = met 1 hoofdeenheid en subeenheden van analyse
-Generaliseren van single-casestudies:
Niet statistische generalisatie = generaliseren van steekproef naar universum
Maar analytische generalisatie = gebruik van enkele/meerdere cases om theorie te representeren
-Hoe meer zekerheid, hoe meer replicaties nodig (significantielevel)
Literale replicatie = versterken, produceren ondersteunend bewijsmateriaal uit 2/+ gevallen
Theoretische replicatie = verbreden
-Blijf continu kwaliteit van je design controleren: testen
