Week 1 – Interventie, preventie, ondersteunen en effectiviteit
College 1 – Jacqueline Schenk
De beoordeling van een studie of interventie: aspecten om rekening mee te houden
1. Methodologische keuzes 2. Resultaten en conclusies 3. Ethische issues 4. Effectiviteit
- Wat is het design? Bijv. experimenteel - Zijn er valide conclusies getrokken? - NVO richtlijnen Een behandeling moet rekening houden
- Wat was controlegroep? - Zijn de resultaten op gepaste manier - Wat zijn sterke/zwakke punten met de specifieke aspecten van een
- Sprake van random toewijzing? gegeneraliseerd? - Hoe zijn betrokkenen casus. VB is anders dan VB en autisme.
- Betreft het een groepsdesign of N=1? - Betreft het een publicatie in vaktijdschrift? geïnformeerd? Hoog/lage betrokkenheid ouders,
- Voor- na meting? Follow-up? - Wat is de zichtbaarheid in de praktijk? - Wat zijn de implicaties? taalvaardigheid etc. Geschiktheid
- Is de gepaste populatie onderzocht? opzoeken.
- Gepaste/goede meetinstrumenten?
Effectladder Trede 0 – wat is basaal nodig om een interventie ‘uit te brengen’: SMART beschrijving, overtuigend aantonen waarom
interventie zou kunnen werken en waarop (welke theorie) is het gebaseerd?
Trede 1: Voorwaardelijk De interventie is beschreven: doel, doelgroep, aanpak, randvoorwaarden. (Verhoogd begrip en verdraagbaarheid)
Trede 2: Veelbelovend In theorie effectief: de interventie zou kunnen werken, hierbij wordt verwezen naar algemeen aanvaarde en met onderzoek
ondersteunende theorieën
Trede 3: Doeltreffend De eerste aanwijzingen voor effectiviteit: er zijn cijfers die laten zien dat de doelgroep wordt bereikt, redenen voor voortijdig
afhaken, clienttevredenheid, doelen worden gerealiseerd of in ieder geval positieve veranderingen.
Trede 4: Plausibel Goede aanwijzingen voor effectiviteit: resultaten van ‘veranderings-theoretisch’ onderzoek en toetsen. Bijv. hoe meer sessies,
hoe meer verandering
Trede 5: Werkzaam Causale bewijskracht: ‘bewezen effectief’: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. (Goed
omschreven, Theoretisch onderbouwd, In NL praktijk getoetste interventie met controlegroep of conditie, Interventie is beter
dan ‘geen interventie’ of ‘een andere interventie’)
3 Generaties aan interventies Voorbeelden gedragstherapie
1960-1980: gebaseerd op waarneembaar gedrag. (behaviourisme en social learning theory). - Aversietherapie – koppeling maken ongewenst gedrag - aversieve stimulus
Geboorte van gedragsmodificatie (OC) en gedragstherapie (KC) - Flooding – uitdoving van CR (angst) full on blootstelling aan CS
- Gedragsmodificatie: operant conditioneren. Leren t.g.v. de consequenties van gedrag - Systematische desentizatie – geleidelijke exposure CS en extinctie van CR
- Reinforcement (+/-): stimulus die gedrag doet laten toenemen
- Punishment (+/-): stimulus die gedrag doet laten afnemen Wanneer handelen?
1980-1990: toenemende aandacht voor de rol van cognities. (Zowel verbale als non-verbale) - Als afwijkend gedrag niet passend is bij de ontwikkelingsleeftijd
geboorte van cognitieve gedragstherapie (CGT) - Duur en intensiteit en impact op het dagelijks leven
1990-nu: meer aandacht in CGT voor functies van cognities en gedrag en de context waarin - Context
deze zich afspelen. (Mindfulness, Acceptance en Commitment therapie)
NJI. (2017). Soorten effectonderzoek.
Niet-experimenteel Niet-experimenteel Casestudies (N=1 onderzoek) (Quasi)-experimenteel onderzoek Metastudies
kwaliteitsonderzoek veranderingsonderzoek Toestand van 1 client wordt op De experimentele conditie wordt Op een rij gezette resultaten
Wat is de kwaliteit van een Kenmerken van cliënten verschillende momenten vergeleken met een ander over verschillende onderzoeken
,interventie, zonder vergelijking worden gemeten voor en na gemeten. Onderzoek toetst interventie/groep waarbij een Duidelijkheid effectiviteit
met andere client of groep. de interventie. (RCI) mogelijk de effectiviteit van interventie is toegepast. interventie
een interventie voor 1 client.
Methoden voor effectonderzoek: Kenmerken goed effectonderzoek:
- RCT: de proefpersonen zijn willekeurig verdeeld over de experimentele en controlegroep 1. Hoge interne validiteit – zo min mogelijk storende invloeden (RCT)
- Quasi-experimenteel: groepen uit verschillende instellingen met elkaar vergelijken 2. Hoge externe validiteit of representativiteit – Betrouwbare afspiegeling
- Matched design: via statistische procedure koppeling tussen experimentele zo goed realiteit. (Casestudies & niet-experimenteel)
mogelijk gelijke controlecasus 3. ‘Follow-up’ - Effecten moeten op een later moment nogmaals gemeten
worden om te kijken of resultaten blijven.
Delsing, M., van Yperen, T., (2017). Wat werkt voor wie? De kracht van N=1 onderzoek (hfd. 15). In zicht op effectiviteit: Handboek resultaatgerichte ontwikkeling interventies
in de jeugdsector (pp. 331-356).
Kenmerken N=1 onderzoek Analysemethoden
1. Kwalitatieve beschrijvingen van handelen en ontwikkeling - Visuele analyse: worden resultaten eerst handmatig of met behulp van
2. Algemene kenmerken: software weergeven in een grafiek. Nadelen: visuele interpretatie. Type 1
- Gaat om een individuele casus, fouten: ten onrechte concluderen dat er sprake is van een effect.
- De interventie is de onafhankelijke variabele, - Kwantitatieve analyse: standaardscores vergelijken. Nadelen: niet voor
- Uitkomsten worden herhaaldelijk gemeten, iedereen is software (SPSS) beschikbaar of te begrijpen
- De casus vormt de eigen controlegroep. - Non-overlap: de mate waarin de data van de basislijnfase (A) overlappen
3. Geeft een gedetailleerd beeld van verrichting (handelen) en effecten (uitkomsten) met die van de interventiefase (B)
4. Wordt nog onvoldoende benut in praktijkonderzoek, bijvoorbeeld door minder statistische - Simulation Modeling Analysis (SMA): tool voor toetsen van effecten.
kennis van praktijkmedewerkers of geen toegang tot statistiekprogramma’s. Autocorrelatie: waarnemingen in een N=1 studie niet onafhankelijk van
elkaar, immers dezelfde persoon.
Aandachtspunten voor het inrichten N=1 onderzoek Onderzoekopzetten
- Goede documentatie van de uitgevoerde interventie - Pre-post design: meetmoment bij aanvang en als afsluiting van een
- Inrichting van de basislijnfase: bijvoorbeeld tijdens de wachtlijstperiode interventie. Onderdeel van de Routine Outcome monitoring (ROM). Hierbij
- De keuze van de onderzoeksopzet wordt gekeken vaan het verschil tussen begin- en eindscore: Reliable Change
- Inrichting van het meetmodel: herhaalde metingen zijn essentieel, maar er moet wel Index (RCI).
gekeken worden naar haalbaarheid. - AB-design: meetmomenten voor de interventie, basislijn (A) tijdens de
- Operationalisatie van de uitkomstvariabele(n): welke meetinstrumenten worden er interventie (B). De score van de fasen worden met elkaar vergelijken,
gebruikt? Metingen kort op elkaar vragen ook om korte vragenlijsten of observaties verschillen zijn tot op zekere hoogte toe te schijven aan de interventie
- De analyse van de gegevens: welke analysemethode wordt er gebruikt en waar heeft de - ABA-design: meetmomenten voor de interventie, basislijn (A) tijdens de
praktijkmedewerker ondersteuning bij nodig? interventie (B), en follow-up na de interventie, basislijn is terug (A)
- De grenswaarden om van een betekenisvol effect te mogen spreken - ABAB-design: meetmomenten voor de interventie, basislijn (A), tijdens de
- De generalisatiemogelijkheden van de resultaten: mate van herhaling en diversiteit in de interventie (B), korte pauze, basislijn (A), tweede interventie (B)/ of
casussen afwijkende interventie (C) en hierna een follow-up.
- Multiple baseline designs: om het effect van een interventie op meerdere
, uitkomstgedragingen, meerdere subjecten of meerdere setting te
onderzoeken.
Tuenter, van den Berg & Bastiaanssen. (2021). Effecten van preventie in het jeugdveld
Universele preventie: richt zich op Het is lastig om het effect van preventie te bewijzen, desondanks wordt er gesteld dat preventie effectief kan zijn.
iedereen d.m.v. bijv. een lesprogramma Er zijn in Nederland meer dan 2500 verschillende vormen van voorlichting, ondersteuning of hulp aan kinderen, jongeren en
voor het aanleren van sociale gezinnen waarvoor ongeveer 10% (230) door een onafhankelijke commissie erkend en opgenomen in de databank Effectieve
competenties Jeugdinterventies. Daarnaast valt er nog onderzoek te doen naar de kosteneffecten (investering tegenover het resultaat), zijn er
Selectieve preventie: gericht op mensen wel aanwijzingen dat het investeren in preventie kan lonen.
met een verhoogd risico d.m.v. bijv. Probleem Interventie Effectiviteit.
online groepscursus Stemming/angst Veerkracht en coping vaardigheden aanleren Klein, maar wel van lange duur
Geïndiceerde preventie: gericht op Gedragsproblemen Opvoedondersteuning, positief De grote diversiteit aan
mensen met een verhoogd risico en schoolklimaat gedragsproblemen en secundaire
beginnende problemen d.m.v. bijv. factoren maakt dat de effectiviteit van
cognitief-gedragstherapeutische de interventie sterk verschilt
interventie Kindermishandeling Oudertraining, huisbezoeken Zeer effectief
Pesten School antipestprogramma’s Lijkt voornamelijk te werken als het een
schoolbrede aanpak is
Schooluitval Verzuim, leefmilieu Eerste aanwijzingen voor effectiviteit
Middelengebruik Gericht op middelen, sociaal-emotionele Beste wanneer interventie aansluit op
vaardigheden leeftijd
Overgewicht Zelfvertrouwen, sociale steun, gezonde Effectiever voor voorkomen dan genezen
leefstijl
Schoolvaardigheden Voorschoolse opvang, educatie Effectief
Welzijn Sociaal werkers, jongerenwerkers, Effectief
jeugdzorg, leerkrachten, mentoren
Lee. M.C., Hunsley. J, (2015). Evidence-Based Practice: Separating Science from Pseudoscience. The Canadian Journal of psychiatry, 60(12), 534-540
Doel: Kritiek op EST: EBP – klinische implicaties
Vroeger heeft APA een EST lijst gemaakt. - Als je als behandelaar geen EST-lijst interventie gebruikt krijgt - Een essentieel veiligheidsscherm tegen
Om als EST geclassificeerd te worden dat een negatieve impact pseudowetenschap en potentieel schadelijke
moest een interventie genoeg onderzoek - Interventie met positieve maar gelimiteerde effectief bewezen beoordelingen en behandelingsmethoden
van hoge kwaliteit hebben gehad. (RCT/ kunnen buiten EST-lijst vallen - Interventies die plausibel lijken, kunnen ineffectief of zelfs
N=1 onderzoek). Om efficacy - MAAR: EST was een belangrijke stap naar ontwikkelen EBP ziekten veroorzaken
(doeltreffendheid) te bewijzen.
EBP = Empirically based practice
EST = Empirically supported treatment
Kanttekeningen EPB Individuele drempels bij gebruik EBP Strategieën om het gebruik van EBP te ondersteunen
- Behandeling met een handleiding zou - Moeite bijhouden wetenschappelijke literatuur - Promoten van gebruik van klinische praktische richtlijnen:
de cliënt-therapeut relatie beïnvloeden - Waargenomen moeilijkheden in toegang tot training Psychiaters in opleiding kennis laten maken en trainen in
College 1 – Jacqueline Schenk
De beoordeling van een studie of interventie: aspecten om rekening mee te houden
1. Methodologische keuzes 2. Resultaten en conclusies 3. Ethische issues 4. Effectiviteit
- Wat is het design? Bijv. experimenteel - Zijn er valide conclusies getrokken? - NVO richtlijnen Een behandeling moet rekening houden
- Wat was controlegroep? - Zijn de resultaten op gepaste manier - Wat zijn sterke/zwakke punten met de specifieke aspecten van een
- Sprake van random toewijzing? gegeneraliseerd? - Hoe zijn betrokkenen casus. VB is anders dan VB en autisme.
- Betreft het een groepsdesign of N=1? - Betreft het een publicatie in vaktijdschrift? geïnformeerd? Hoog/lage betrokkenheid ouders,
- Voor- na meting? Follow-up? - Wat is de zichtbaarheid in de praktijk? - Wat zijn de implicaties? taalvaardigheid etc. Geschiktheid
- Is de gepaste populatie onderzocht? opzoeken.
- Gepaste/goede meetinstrumenten?
Effectladder Trede 0 – wat is basaal nodig om een interventie ‘uit te brengen’: SMART beschrijving, overtuigend aantonen waarom
interventie zou kunnen werken en waarop (welke theorie) is het gebaseerd?
Trede 1: Voorwaardelijk De interventie is beschreven: doel, doelgroep, aanpak, randvoorwaarden. (Verhoogd begrip en verdraagbaarheid)
Trede 2: Veelbelovend In theorie effectief: de interventie zou kunnen werken, hierbij wordt verwezen naar algemeen aanvaarde en met onderzoek
ondersteunende theorieën
Trede 3: Doeltreffend De eerste aanwijzingen voor effectiviteit: er zijn cijfers die laten zien dat de doelgroep wordt bereikt, redenen voor voortijdig
afhaken, clienttevredenheid, doelen worden gerealiseerd of in ieder geval positieve veranderingen.
Trede 4: Plausibel Goede aanwijzingen voor effectiviteit: resultaten van ‘veranderings-theoretisch’ onderzoek en toetsen. Bijv. hoe meer sessies,
hoe meer verandering
Trede 5: Werkzaam Causale bewijskracht: ‘bewezen effectief’: de gemeten verbetering is toe te schrijven aan de gebruikte interventie. (Goed
omschreven, Theoretisch onderbouwd, In NL praktijk getoetste interventie met controlegroep of conditie, Interventie is beter
dan ‘geen interventie’ of ‘een andere interventie’)
3 Generaties aan interventies Voorbeelden gedragstherapie
1960-1980: gebaseerd op waarneembaar gedrag. (behaviourisme en social learning theory). - Aversietherapie – koppeling maken ongewenst gedrag - aversieve stimulus
Geboorte van gedragsmodificatie (OC) en gedragstherapie (KC) - Flooding – uitdoving van CR (angst) full on blootstelling aan CS
- Gedragsmodificatie: operant conditioneren. Leren t.g.v. de consequenties van gedrag - Systematische desentizatie – geleidelijke exposure CS en extinctie van CR
- Reinforcement (+/-): stimulus die gedrag doet laten toenemen
- Punishment (+/-): stimulus die gedrag doet laten afnemen Wanneer handelen?
1980-1990: toenemende aandacht voor de rol van cognities. (Zowel verbale als non-verbale) - Als afwijkend gedrag niet passend is bij de ontwikkelingsleeftijd
geboorte van cognitieve gedragstherapie (CGT) - Duur en intensiteit en impact op het dagelijks leven
1990-nu: meer aandacht in CGT voor functies van cognities en gedrag en de context waarin - Context
deze zich afspelen. (Mindfulness, Acceptance en Commitment therapie)
NJI. (2017). Soorten effectonderzoek.
Niet-experimenteel Niet-experimenteel Casestudies (N=1 onderzoek) (Quasi)-experimenteel onderzoek Metastudies
kwaliteitsonderzoek veranderingsonderzoek Toestand van 1 client wordt op De experimentele conditie wordt Op een rij gezette resultaten
Wat is de kwaliteit van een Kenmerken van cliënten verschillende momenten vergeleken met een ander over verschillende onderzoeken
,interventie, zonder vergelijking worden gemeten voor en na gemeten. Onderzoek toetst interventie/groep waarbij een Duidelijkheid effectiviteit
met andere client of groep. de interventie. (RCI) mogelijk de effectiviteit van interventie is toegepast. interventie
een interventie voor 1 client.
Methoden voor effectonderzoek: Kenmerken goed effectonderzoek:
- RCT: de proefpersonen zijn willekeurig verdeeld over de experimentele en controlegroep 1. Hoge interne validiteit – zo min mogelijk storende invloeden (RCT)
- Quasi-experimenteel: groepen uit verschillende instellingen met elkaar vergelijken 2. Hoge externe validiteit of representativiteit – Betrouwbare afspiegeling
- Matched design: via statistische procedure koppeling tussen experimentele zo goed realiteit. (Casestudies & niet-experimenteel)
mogelijk gelijke controlecasus 3. ‘Follow-up’ - Effecten moeten op een later moment nogmaals gemeten
worden om te kijken of resultaten blijven.
Delsing, M., van Yperen, T., (2017). Wat werkt voor wie? De kracht van N=1 onderzoek (hfd. 15). In zicht op effectiviteit: Handboek resultaatgerichte ontwikkeling interventies
in de jeugdsector (pp. 331-356).
Kenmerken N=1 onderzoek Analysemethoden
1. Kwalitatieve beschrijvingen van handelen en ontwikkeling - Visuele analyse: worden resultaten eerst handmatig of met behulp van
2. Algemene kenmerken: software weergeven in een grafiek. Nadelen: visuele interpretatie. Type 1
- Gaat om een individuele casus, fouten: ten onrechte concluderen dat er sprake is van een effect.
- De interventie is de onafhankelijke variabele, - Kwantitatieve analyse: standaardscores vergelijken. Nadelen: niet voor
- Uitkomsten worden herhaaldelijk gemeten, iedereen is software (SPSS) beschikbaar of te begrijpen
- De casus vormt de eigen controlegroep. - Non-overlap: de mate waarin de data van de basislijnfase (A) overlappen
3. Geeft een gedetailleerd beeld van verrichting (handelen) en effecten (uitkomsten) met die van de interventiefase (B)
4. Wordt nog onvoldoende benut in praktijkonderzoek, bijvoorbeeld door minder statistische - Simulation Modeling Analysis (SMA): tool voor toetsen van effecten.
kennis van praktijkmedewerkers of geen toegang tot statistiekprogramma’s. Autocorrelatie: waarnemingen in een N=1 studie niet onafhankelijk van
elkaar, immers dezelfde persoon.
Aandachtspunten voor het inrichten N=1 onderzoek Onderzoekopzetten
- Goede documentatie van de uitgevoerde interventie - Pre-post design: meetmoment bij aanvang en als afsluiting van een
- Inrichting van de basislijnfase: bijvoorbeeld tijdens de wachtlijstperiode interventie. Onderdeel van de Routine Outcome monitoring (ROM). Hierbij
- De keuze van de onderzoeksopzet wordt gekeken vaan het verschil tussen begin- en eindscore: Reliable Change
- Inrichting van het meetmodel: herhaalde metingen zijn essentieel, maar er moet wel Index (RCI).
gekeken worden naar haalbaarheid. - AB-design: meetmomenten voor de interventie, basislijn (A) tijdens de
- Operationalisatie van de uitkomstvariabele(n): welke meetinstrumenten worden er interventie (B). De score van de fasen worden met elkaar vergelijken,
gebruikt? Metingen kort op elkaar vragen ook om korte vragenlijsten of observaties verschillen zijn tot op zekere hoogte toe te schijven aan de interventie
- De analyse van de gegevens: welke analysemethode wordt er gebruikt en waar heeft de - ABA-design: meetmomenten voor de interventie, basislijn (A) tijdens de
praktijkmedewerker ondersteuning bij nodig? interventie (B), en follow-up na de interventie, basislijn is terug (A)
- De grenswaarden om van een betekenisvol effect te mogen spreken - ABAB-design: meetmomenten voor de interventie, basislijn (A), tijdens de
- De generalisatiemogelijkheden van de resultaten: mate van herhaling en diversiteit in de interventie (B), korte pauze, basislijn (A), tweede interventie (B)/ of
casussen afwijkende interventie (C) en hierna een follow-up.
- Multiple baseline designs: om het effect van een interventie op meerdere
, uitkomstgedragingen, meerdere subjecten of meerdere setting te
onderzoeken.
Tuenter, van den Berg & Bastiaanssen. (2021). Effecten van preventie in het jeugdveld
Universele preventie: richt zich op Het is lastig om het effect van preventie te bewijzen, desondanks wordt er gesteld dat preventie effectief kan zijn.
iedereen d.m.v. bijv. een lesprogramma Er zijn in Nederland meer dan 2500 verschillende vormen van voorlichting, ondersteuning of hulp aan kinderen, jongeren en
voor het aanleren van sociale gezinnen waarvoor ongeveer 10% (230) door een onafhankelijke commissie erkend en opgenomen in de databank Effectieve
competenties Jeugdinterventies. Daarnaast valt er nog onderzoek te doen naar de kosteneffecten (investering tegenover het resultaat), zijn er
Selectieve preventie: gericht op mensen wel aanwijzingen dat het investeren in preventie kan lonen.
met een verhoogd risico d.m.v. bijv. Probleem Interventie Effectiviteit.
online groepscursus Stemming/angst Veerkracht en coping vaardigheden aanleren Klein, maar wel van lange duur
Geïndiceerde preventie: gericht op Gedragsproblemen Opvoedondersteuning, positief De grote diversiteit aan
mensen met een verhoogd risico en schoolklimaat gedragsproblemen en secundaire
beginnende problemen d.m.v. bijv. factoren maakt dat de effectiviteit van
cognitief-gedragstherapeutische de interventie sterk verschilt
interventie Kindermishandeling Oudertraining, huisbezoeken Zeer effectief
Pesten School antipestprogramma’s Lijkt voornamelijk te werken als het een
schoolbrede aanpak is
Schooluitval Verzuim, leefmilieu Eerste aanwijzingen voor effectiviteit
Middelengebruik Gericht op middelen, sociaal-emotionele Beste wanneer interventie aansluit op
vaardigheden leeftijd
Overgewicht Zelfvertrouwen, sociale steun, gezonde Effectiever voor voorkomen dan genezen
leefstijl
Schoolvaardigheden Voorschoolse opvang, educatie Effectief
Welzijn Sociaal werkers, jongerenwerkers, Effectief
jeugdzorg, leerkrachten, mentoren
Lee. M.C., Hunsley. J, (2015). Evidence-Based Practice: Separating Science from Pseudoscience. The Canadian Journal of psychiatry, 60(12), 534-540
Doel: Kritiek op EST: EBP – klinische implicaties
Vroeger heeft APA een EST lijst gemaakt. - Als je als behandelaar geen EST-lijst interventie gebruikt krijgt - Een essentieel veiligheidsscherm tegen
Om als EST geclassificeerd te worden dat een negatieve impact pseudowetenschap en potentieel schadelijke
moest een interventie genoeg onderzoek - Interventie met positieve maar gelimiteerde effectief bewezen beoordelingen en behandelingsmethoden
van hoge kwaliteit hebben gehad. (RCT/ kunnen buiten EST-lijst vallen - Interventies die plausibel lijken, kunnen ineffectief of zelfs
N=1 onderzoek). Om efficacy - MAAR: EST was een belangrijke stap naar ontwikkelen EBP ziekten veroorzaken
(doeltreffendheid) te bewijzen.
EBP = Empirically based practice
EST = Empirically supported treatment
Kanttekeningen EPB Individuele drempels bij gebruik EBP Strategieën om het gebruik van EBP te ondersteunen
- Behandeling met een handleiding zou - Moeite bijhouden wetenschappelijke literatuur - Promoten van gebruik van klinische praktische richtlijnen:
de cliënt-therapeut relatie beïnvloeden - Waargenomen moeilijkheden in toegang tot training Psychiaters in opleiding kennis laten maken en trainen in
