Samenvatting Methoden en Technieken
Effectonderzoek in gedragswetenschappen + colleges
H. 3 Definities van relevante begrippen
Gedrag = alle menselijke activiteiten die waarneembaar zijn.
Empirische criteria zijn het streven naar waarheid en naar zekerheid.
Empirische cyclus gaat van observatie, inductie(onderzoeksvragen en hypothesen
formuleren), deductie(toetsbare voorspellingen afleiden uit hypothesen), toetsing en
evaluatie weer terug naar observatie.
5 Effectiviteitsniveaus:
0: impliciet (niet duidelijk omschreven interventie), 1: potentieel (descriptieve bewijskracht),
2: veelbelovend (theoretische bewijskracht), 3: indicatief of doeltreffend (voorlopige
bewijskracht), 4: werkzaam en bewezen effectief (causale bewijskracht)
Interventieprogramma is een geheel van hulpverleningsactiviteiten die:
Gekenmerkt zijn door goed omschreven doelen
Aansluiten bij toepasselijke theorieën en hypothesen
Goed gedefinieerd zijn wat betreft inhoud en doelgroep
Verschillende fases in de tijd kennen om doelen te bereiken
Evaluatiemomenten en -criteria bevatten.
Effectiviteit = de mate waarin de hulp de doelgroep positief beïnvloedt en zo dat andere
verklaringen zijn uitgesloten.
Effectonderzoek = onderzoek naar het feitelijk functioneren van een interventie.
Effect Size (ES) = de gestandaardiseerde numerieke index van grootte van effect of relatie.,
onafhankelijk van de steekproefgrootte.
H. 4 Ideaalmodel voor effectonderzoek
Stappen in effectonderzoek:
1. Inventariseren van begrippen en doelen op basis van het theoretisch raam
De achtergronden en uitgangspunten van het programma vormen het theoretisch
raam. Het bestaat uit een analyse van beschermende en risicofactoren en kennis uit
ander onderzoek, en het duidelijk stellen van de doelgroep.
2. Beschrijven van het doel van interventie
Geef een heldere en gespecificeerde beschrijving van de doelen van de interventie
en de methode, en plan hoe de uitvoering van de interventie wordt gemonitord.
3. Operationaliseren van doelen in criteria
Voortvloeiend uit theoretisch raam wordt een keuze gemaakt van variabelen die als
criteriummaat voor mogelijke effecten van het programma kunnen gelden. Hierin
moeten de belangrijkste doelen vertegenwoordigd zijn en moeten hidden third
factors(HTF), derde variabelen worden omgezet in criteria. Weeg de criteria, zodat je
weet hoeveel belang je er aan moet hechten, en zorg dat criteria met elkaar in
verbinding staan.
4. Opstellen van meetinstrumenten
,Samenvatting Methoden en Technieken
Zoek naar meetinstrumenten die relevant zijn, theoretisch goed onderbouwd zijn,
praktisch bruikbaar zijn, aansluiten bij de doelgroep(leeftijdsadequaat) en
valide/betrouwbaar zijn.
5. Ontwerpen van onderzoekdesign
Vraag of het doel bereikt wordt, is het beste te beantwoorden met zuiver experiment.
Daarin is zowel sprake van een voor- en nameting als van een experimentele en
controle groep, met random toewijzing van participanten aan deze groepen. Uit de
voor- en nameting moet blijken dat de groepen pre-experimenteel gelijk zijn wat
betreft relevante kenmerken. Evt. meer metingen: longitudinaal design.
Experimentele en controle groep: waar mogelijk randomisatie, soms matching op
belangrijke variabelen, blinde toewijzing: dubbel-blind waarbij niemand weet in welke
groep de participant zit. Placebo groep kan ook. Beschrijf de steekproefopzet(het
sampling design) met de doelpopulatie, het steekproefkader en het
steekproefplan(sampling plan).
6. Verzamelen, analyseren en interpreteren van data
Dataverzameling: zorg voor gelijke omstandigheden, voor eerlijkheid, incentives:
beloningen/motivatie om mee te doen, informed consent: de participant tekent een
verklaring en weet waar hij aan mee doet. Sluit af met een participantenflow in een
flowchart, waarin alle aantallen participanten in verschillende fasen zijn opgenomen.
Data-analyse: plan al vroeg de statistische kant, en toets de vooral opgestelde
hypothese. Beargumenteer je keuze. Interpretatie van de data: voel een onderzoek
uit naar alle fasen van het onderzoek, trek conclusies omtrent de
onderzoekshypothesen en koppel deze terug naar theorie. Interpreteer mede op
basis van ES, betrouwbaarheidsintervallen en power.
7. Rapporteren van het onderzoek
Besteed aandacht aan ethische aspecten: het moet reproduceerbaar zijn, rapporteer
eventuele Bias. Volg verder de APA richtlijnen voor vermelding en verwijzing van
bronnen.
H. 5 Methodologische problemen
Problemen bij inventarisatie van variabelen en doelen
1. Problemen bij theoretische onderbouwing:
Er is niet altijd een toereikende theorie, de complexiteit in de gedragswetenschappen
vermoeilijkt het samenvatten in een theoretisch model en het theoretisch raam wordt
niet altijd voldoende geëxpliciteerd.
2. Problemen bij de formulering van doelen van de interventie:
Preventieve doelen zijn moeilijk te definiëren, voorspellingen van de prognose zonder
en met interventie is ingewikkeld, het wandwidth-fidelity dilemma: de moeilijkheid een
balans te vinden tussen breedte van het begrip.
3. Problemen bij het beschrijven van de methode en de uitvoering:
De interventie is heel complex, wat beschrijven lastig maakt. Onderzoekers hebben
vaak geen controle over de interventie zelf, en hulpverleners bieden de interventie
, Samenvatting Methoden en Technieken
vaak op eigen manier aan. Het belang van goede beschrijving wordt vaak
onderschat.
Problemen bij het operationaliseren van doelen in criteria
4. Complexiteit van criteriummaten
De voorkeur voor een transactionele/ecologische invalshoek maakt dat er veel
moeilijke variabelen zijn, vaak te weinig variabelen omwille van tijd en geld, er kan
onenigheid zijn over de criteria.
5. Objectiviteit vs. subjectiviteit
Succes is niet objectief te definiëren. Door druk om snel te publiceren en grote
effecten te melden kan de objectiviteit worden verloren.
Instrumentatieproblemen
6. Er zijn niet altijd geschikte en goede instrumenten beschikbaar
Meetinstrumenten aangepast aan de doelgroep zijn niet altijd voor handen, het
streven naar objectiviteit en standaardisatie kan ook afbreuk doen aan de relevantie
van een instrument. Vergelijking van effecten bij verschillende programma’s worden
tegengewerkt door steeds vernieuwde meetinstrumenten.
7. Meetmomenten afwegen
Direct meten/observeren is vaak niet mogelijk, generaliseren is lastig. Met moet vaak
genoegen nemen met zelfrapportage instrumenten waarvan betrouwbaarheid in
twijfel moet worden getrokken. Er is niet altijd genoeg kennis voor handen om geode
instrumenten goed te gebruiken en te interpreteren.
Problemen bij het kiezen van het onderzoeksdesign
8. Methodologisch-praktische problemen
De complexiteit van interventie en natuurlijke situatie waarin interventie voorkomt,
zorgen ervoor dat externe variabelen en onafhankelijke variabelen moeilijk te
beheersen zijn. Deelname is bijna altijd vrijwillig en dat heeft gevolgen voor de groep.
Bijna nooit random toegewezen groepen, dit brengt de interne validiteit in gevaar.
9. Ethische bezwaren tegen het opnemen van controle- of vergelijkingsgroep:
Bv. Mensen een interventie onthouden kan onethisch zijn. Equipoise: het in balans
zijn van beide interventies.
10. Mogelijke problemen met longitudinaal design waardoor follow up onderzoek
ontbreekt: tijd, geld, tussentijdse gebeurtenissen, object van onderzoek is
veranderlijk. Belasting deelnemers, selectieve uitval.
Problemen bij het verzamelen, analyseren en interpreteren van data
11. Problemen bij dataverzameling:
Participanten raken geoefend, kunnen uitvallen en worden daardoor buiten analyse
gehouden.
12. Problemen bij de data-analyse:
Vaak heel complex, multivariate analyses hebben de voorkeur, maar zijn vaak lastig.
Te weinig statistische kennis, slordigheid en publicatiedruk kunnen het resultaat
Effectonderzoek in gedragswetenschappen + colleges
H. 3 Definities van relevante begrippen
Gedrag = alle menselijke activiteiten die waarneembaar zijn.
Empirische criteria zijn het streven naar waarheid en naar zekerheid.
Empirische cyclus gaat van observatie, inductie(onderzoeksvragen en hypothesen
formuleren), deductie(toetsbare voorspellingen afleiden uit hypothesen), toetsing en
evaluatie weer terug naar observatie.
5 Effectiviteitsniveaus:
0: impliciet (niet duidelijk omschreven interventie), 1: potentieel (descriptieve bewijskracht),
2: veelbelovend (theoretische bewijskracht), 3: indicatief of doeltreffend (voorlopige
bewijskracht), 4: werkzaam en bewezen effectief (causale bewijskracht)
Interventieprogramma is een geheel van hulpverleningsactiviteiten die:
Gekenmerkt zijn door goed omschreven doelen
Aansluiten bij toepasselijke theorieën en hypothesen
Goed gedefinieerd zijn wat betreft inhoud en doelgroep
Verschillende fases in de tijd kennen om doelen te bereiken
Evaluatiemomenten en -criteria bevatten.
Effectiviteit = de mate waarin de hulp de doelgroep positief beïnvloedt en zo dat andere
verklaringen zijn uitgesloten.
Effectonderzoek = onderzoek naar het feitelijk functioneren van een interventie.
Effect Size (ES) = de gestandaardiseerde numerieke index van grootte van effect of relatie.,
onafhankelijk van de steekproefgrootte.
H. 4 Ideaalmodel voor effectonderzoek
Stappen in effectonderzoek:
1. Inventariseren van begrippen en doelen op basis van het theoretisch raam
De achtergronden en uitgangspunten van het programma vormen het theoretisch
raam. Het bestaat uit een analyse van beschermende en risicofactoren en kennis uit
ander onderzoek, en het duidelijk stellen van de doelgroep.
2. Beschrijven van het doel van interventie
Geef een heldere en gespecificeerde beschrijving van de doelen van de interventie
en de methode, en plan hoe de uitvoering van de interventie wordt gemonitord.
3. Operationaliseren van doelen in criteria
Voortvloeiend uit theoretisch raam wordt een keuze gemaakt van variabelen die als
criteriummaat voor mogelijke effecten van het programma kunnen gelden. Hierin
moeten de belangrijkste doelen vertegenwoordigd zijn en moeten hidden third
factors(HTF), derde variabelen worden omgezet in criteria. Weeg de criteria, zodat je
weet hoeveel belang je er aan moet hechten, en zorg dat criteria met elkaar in
verbinding staan.
4. Opstellen van meetinstrumenten
,Samenvatting Methoden en Technieken
Zoek naar meetinstrumenten die relevant zijn, theoretisch goed onderbouwd zijn,
praktisch bruikbaar zijn, aansluiten bij de doelgroep(leeftijdsadequaat) en
valide/betrouwbaar zijn.
5. Ontwerpen van onderzoekdesign
Vraag of het doel bereikt wordt, is het beste te beantwoorden met zuiver experiment.
Daarin is zowel sprake van een voor- en nameting als van een experimentele en
controle groep, met random toewijzing van participanten aan deze groepen. Uit de
voor- en nameting moet blijken dat de groepen pre-experimenteel gelijk zijn wat
betreft relevante kenmerken. Evt. meer metingen: longitudinaal design.
Experimentele en controle groep: waar mogelijk randomisatie, soms matching op
belangrijke variabelen, blinde toewijzing: dubbel-blind waarbij niemand weet in welke
groep de participant zit. Placebo groep kan ook. Beschrijf de steekproefopzet(het
sampling design) met de doelpopulatie, het steekproefkader en het
steekproefplan(sampling plan).
6. Verzamelen, analyseren en interpreteren van data
Dataverzameling: zorg voor gelijke omstandigheden, voor eerlijkheid, incentives:
beloningen/motivatie om mee te doen, informed consent: de participant tekent een
verklaring en weet waar hij aan mee doet. Sluit af met een participantenflow in een
flowchart, waarin alle aantallen participanten in verschillende fasen zijn opgenomen.
Data-analyse: plan al vroeg de statistische kant, en toets de vooral opgestelde
hypothese. Beargumenteer je keuze. Interpretatie van de data: voel een onderzoek
uit naar alle fasen van het onderzoek, trek conclusies omtrent de
onderzoekshypothesen en koppel deze terug naar theorie. Interpreteer mede op
basis van ES, betrouwbaarheidsintervallen en power.
7. Rapporteren van het onderzoek
Besteed aandacht aan ethische aspecten: het moet reproduceerbaar zijn, rapporteer
eventuele Bias. Volg verder de APA richtlijnen voor vermelding en verwijzing van
bronnen.
H. 5 Methodologische problemen
Problemen bij inventarisatie van variabelen en doelen
1. Problemen bij theoretische onderbouwing:
Er is niet altijd een toereikende theorie, de complexiteit in de gedragswetenschappen
vermoeilijkt het samenvatten in een theoretisch model en het theoretisch raam wordt
niet altijd voldoende geëxpliciteerd.
2. Problemen bij de formulering van doelen van de interventie:
Preventieve doelen zijn moeilijk te definiëren, voorspellingen van de prognose zonder
en met interventie is ingewikkeld, het wandwidth-fidelity dilemma: de moeilijkheid een
balans te vinden tussen breedte van het begrip.
3. Problemen bij het beschrijven van de methode en de uitvoering:
De interventie is heel complex, wat beschrijven lastig maakt. Onderzoekers hebben
vaak geen controle over de interventie zelf, en hulpverleners bieden de interventie
, Samenvatting Methoden en Technieken
vaak op eigen manier aan. Het belang van goede beschrijving wordt vaak
onderschat.
Problemen bij het operationaliseren van doelen in criteria
4. Complexiteit van criteriummaten
De voorkeur voor een transactionele/ecologische invalshoek maakt dat er veel
moeilijke variabelen zijn, vaak te weinig variabelen omwille van tijd en geld, er kan
onenigheid zijn over de criteria.
5. Objectiviteit vs. subjectiviteit
Succes is niet objectief te definiëren. Door druk om snel te publiceren en grote
effecten te melden kan de objectiviteit worden verloren.
Instrumentatieproblemen
6. Er zijn niet altijd geschikte en goede instrumenten beschikbaar
Meetinstrumenten aangepast aan de doelgroep zijn niet altijd voor handen, het
streven naar objectiviteit en standaardisatie kan ook afbreuk doen aan de relevantie
van een instrument. Vergelijking van effecten bij verschillende programma’s worden
tegengewerkt door steeds vernieuwde meetinstrumenten.
7. Meetmomenten afwegen
Direct meten/observeren is vaak niet mogelijk, generaliseren is lastig. Met moet vaak
genoegen nemen met zelfrapportage instrumenten waarvan betrouwbaarheid in
twijfel moet worden getrokken. Er is niet altijd genoeg kennis voor handen om geode
instrumenten goed te gebruiken en te interpreteren.
Problemen bij het kiezen van het onderzoeksdesign
8. Methodologisch-praktische problemen
De complexiteit van interventie en natuurlijke situatie waarin interventie voorkomt,
zorgen ervoor dat externe variabelen en onafhankelijke variabelen moeilijk te
beheersen zijn. Deelname is bijna altijd vrijwillig en dat heeft gevolgen voor de groep.
Bijna nooit random toegewezen groepen, dit brengt de interne validiteit in gevaar.
9. Ethische bezwaren tegen het opnemen van controle- of vergelijkingsgroep:
Bv. Mensen een interventie onthouden kan onethisch zijn. Equipoise: het in balans
zijn van beide interventies.
10. Mogelijke problemen met longitudinaal design waardoor follow up onderzoek
ontbreekt: tijd, geld, tussentijdse gebeurtenissen, object van onderzoek is
veranderlijk. Belasting deelnemers, selectieve uitval.
Problemen bij het verzamelen, analyseren en interpreteren van data
11. Problemen bij dataverzameling:
Participanten raken geoefend, kunnen uitvallen en worden daardoor buiten analyse
gehouden.
12. Problemen bij de data-analyse:
Vaak heel complex, multivariate analyses hebben de voorkeur, maar zijn vaak lastig.
Te weinig statistische kennis, slordigheid en publicatiedruk kunnen het resultaat
