Samenvatting
Zicht op Effectiviteit
Handboek voor praktijkgestuurd effectonderzoek in
de jeugdzorg
Tom van Yperen & Jan Willem Veerman
Hoofdstuk 1-2-3-12-13-16
Samengevat door Lea Aarts
, Hoofdstuk 1: Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
De vraag naar wetenschappelijke onderbouwing van de effectiviteit van interventies in de
jeugdzorg klinkt de laatste jaren steeds luider. Een interventie is door het NJi gedefinieerd als
een aanpak die:
gericht is op de vermindering, de compensatie of het draaglijk maken van een risico of een
probleem in de ontwikkeling van een jeugdige dat een gezonde, evenwichtige uitgroei tot
volwassenheid (mogelijk) belemmert;
bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid van een of
meerdere van deze risico’s of problemen;
geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte en
systematische werkwijze (een methodiek);
gericht is op de jeugdige zelf, zijn opvoeder en/of zijn opvoedingsomgeving;
afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
Voorheen stelden alleen onderzoekers de effectiviteitsvraag, nu ook uitvoerend hulpverleners
en directies. Er spelen vakinhoudelijke motieven (hoog mogelijke kwaliteit) en
maatschappelijke motieven (laten zien dat geld goed besteed wordt) een rol.
Wat is dan effectief?
Praktijkperspectief: als de gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
Wetenschappelijk perspectief: als is aangetoond dat er geen andere factoren in het spel
zijn die het effect ook hadden kunnen veroorzaken.
Ideale model van methodegestuurd effectonderzoek, waarin de focus sterk gericht is op het
realiseren van methodologische eisen van effectonderzoek:
Experimentele groep interventie; controlegroep geen, placebo of alternatieve interventie.
Cliënten worden willekeurig aan een van beide groepen toegewezen.
Interventie is vastgelegd in een behandelprotocol: fasering, wat er per sessie gebeurt en
voor wie wel en voor wie niet geschikt.
Voormeting en nameting.
Bij praktijkgestuurd effectonderzoek gaat het er juist om het type studie aan te passen aan het
ontwikkelingsstadium van de interventie en de daaraan verbonden eisen van de praktijk.
1.2 Wat weten we uit effectonderzoek?
Voorbeelden van effectieve interventies zijn Systematische Desensitisatie, Cognitieve
Gedragstherapie, Oudertraining, Treatment Foster Care, Intensieve Pedagogische Thuiszorg
(bijv. Multi Systeem Therapie). Er zijn echter wat kanttekeningen:
- Het aantal onderzochte en effectief bevonden behandelvormen is maar een fractie van wat
gewoonlijk wordt aangeboden.
- Het geringe aantal interventies dat wel is onderzocht bestaat ook nog eens uit
‘onderzoeksinterventies’ die in de praktijk van de jeugdzorg nauwelijks in die vorm
voorkomen.
- De weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken laten
over het algemeen slechts kleine tot matige effecten zien.
- Veel interventies die in de praktijk worden uitgevoerd zijn onvoldoende geëxpliciteerd om
aan een goed effectonderzoek onderworpen te worden.
1
,1.3 Hoe verder?
Er zijn twee wegen die begaanbaar zijn:
1. Top-down: een transport van onderzoeksinterventies vanuit het wetenschappelijk kader
naar de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze
praktijk. Een methodegestuurde benadering die uitmondt in een evidence-based practice.
Effect = verschil experimentele en controlegroep.
2. Bottom-up: het uitvoeren van praktijkonderzoek waarmee de effectiviteit van interventies
op de een of andere manier in beeld wordt gebracht. Het ontwikkelen van een practic-
based evidence. Effect = minder eenduidig.
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en behandelaars
gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het
praktisch handelen van de behandelaar(s) nader verhelderd en getoetst wordt, waardoor
vervolgens het werk van de behandelaar(s) verbetert en ten opzichte van buitenstaanders te
legitimeren is. Het kent drie kenmerken:
Aansluiting: bij het ontwikkelingsniveau van de interventie
Inbedding: het onderzoek naar het effect moet procedureel ingebed zijn in de uitvoering
van de interventie.
Benutting: de verzamelde gegevens moeten benut worden, eerst op uitvoeringsniveau en
daarna op beleidsniveau.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
2
, Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek. Het
kent verschillende vormen van bewijskracht, die elk ook een bepaalde definitie van effect
impliceren. Zie bovenstaande tabel. Op al deze niveaus gaat het om het verzamelen van
‘practice-based evidence’.
Niveau 1: Descriptieve bewijskracht -> Omschrijving (Effectiviteitspotentie)
De aard van de interventie wordt nader omschreven (doel, doelgroep, aanpak en context of
randvoorwaarden). Hoe meer de inhoud van een interventie de nieuwste inzichten in het
vakgebied weerspiegelt, en hoe duidelijker de interventie in een stappenplan of
handleiding uiteengelegd kan worden, hoe meer potentie hij heeft om effectief te zijn.
Niveau 2: Theoretische bewijskracht -> Onderbouwing (In theorie effectief)
Een interventietheorie (program theory) wordt geëxpliciteerd die intern een rationale en
extern een legitimatie voor het uitvoeren van een interventie geeft. Er wordt aannemelijk
gemaakt dat de geboden behandelvorm werkt.
Niveau 3: Indicatieve bewijskracht -> Meten (Empirische indicaties voor effectiviteit)
Het is het beste als het afnemen van de bedoelde meetinstrumenten volledig is ingebed in
het handelen, zoals in veranderingsonderzoek, doelrealisatieonderzoek of cliënt-
tevredenheidsonderzoek.
Niveau 4: Causale bewijskracht (Werkzame interventies)
Idealiter wordt bewezen dat de onderzochte interventie beter is dan geen interventie of een
andere interventie. Op dit niveau is practice-based evidence zo sterk dat ze kan bijdragen
aan het vestigen van evidence-based practice.
Effectladder in de kwaliteitsontwikkeling van de praktijk
3
Zicht op Effectiviteit
Handboek voor praktijkgestuurd effectonderzoek in
de jeugdzorg
Tom van Yperen & Jan Willem Veerman
Hoofdstuk 1-2-3-12-13-16
Samengevat door Lea Aarts
, Hoofdstuk 1: Wat is praktijkgestuurd effectonderzoek?
1.1 Zicht op effectiviteit: hard nodig
De vraag naar wetenschappelijke onderbouwing van de effectiviteit van interventies in de
jeugdzorg klinkt de laatste jaren steeds luider. Een interventie is door het NJi gedefinieerd als
een aanpak die:
gericht is op de vermindering, de compensatie of het draaglijk maken van een risico of een
probleem in de ontwikkeling van een jeugdige dat een gezonde, evenwichtige uitgroei tot
volwassenheid (mogelijk) belemmert;
bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid van een of
meerdere van deze risico’s of problemen;
geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte en
systematische werkwijze (een methodiek);
gericht is op de jeugdige zelf, zijn opvoeder en/of zijn opvoedingsomgeving;
afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.
Voorheen stelden alleen onderzoekers de effectiviteitsvraag, nu ook uitvoerend hulpverleners
en directies. Er spelen vakinhoudelijke motieven (hoog mogelijke kwaliteit) en
maatschappelijke motieven (laten zien dat geld goed besteed wordt) een rol.
Wat is dan effectief?
Praktijkperspectief: als de gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
Wetenschappelijk perspectief: als is aangetoond dat er geen andere factoren in het spel
zijn die het effect ook hadden kunnen veroorzaken.
Ideale model van methodegestuurd effectonderzoek, waarin de focus sterk gericht is op het
realiseren van methodologische eisen van effectonderzoek:
Experimentele groep interventie; controlegroep geen, placebo of alternatieve interventie.
Cliënten worden willekeurig aan een van beide groepen toegewezen.
Interventie is vastgelegd in een behandelprotocol: fasering, wat er per sessie gebeurt en
voor wie wel en voor wie niet geschikt.
Voormeting en nameting.
Bij praktijkgestuurd effectonderzoek gaat het er juist om het type studie aan te passen aan het
ontwikkelingsstadium van de interventie en de daaraan verbonden eisen van de praktijk.
1.2 Wat weten we uit effectonderzoek?
Voorbeelden van effectieve interventies zijn Systematische Desensitisatie, Cognitieve
Gedragstherapie, Oudertraining, Treatment Foster Care, Intensieve Pedagogische Thuiszorg
(bijv. Multi Systeem Therapie). Er zijn echter wat kanttekeningen:
- Het aantal onderzochte en effectief bevonden behandelvormen is maar een fractie van wat
gewoonlijk wordt aangeboden.
- Het geringe aantal interventies dat wel is onderzocht bestaat ook nog eens uit
‘onderzoeksinterventies’ die in de praktijk van de jeugdzorg nauwelijks in die vorm
voorkomen.
- De weinige wel in de praktijk van de zorg uitgevoerde experimentele onderzoeken laten
over het algemeen slechts kleine tot matige effecten zien.
- Veel interventies die in de praktijk worden uitgevoerd zijn onvoldoende geëxpliciteerd om
aan een goed effectonderzoek onderworpen te worden.
1
,1.3 Hoe verder?
Er zijn twee wegen die begaanbaar zijn:
1. Top-down: een transport van onderzoeksinterventies vanuit het wetenschappelijk kader
naar de klinische praktijk en onderzoek naar het welslagen van de implementatie in deze
praktijk. Een methodegestuurde benadering die uitmondt in een evidence-based practice.
Effect = verschil experimentele en controlegroep.
2. Bottom-up: het uitvoeren van praktijkonderzoek waarmee de effectiviteit van interventies
op de een of andere manier in beeld wordt gebracht. Het ontwikkelen van een practic-
based evidence. Effect = minder eenduidig.
Praktijkgestuurd effectonderzoek: onderzoek waarin onderzoekers en behandelaars
gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het
praktisch handelen van de behandelaar(s) nader verhelderd en getoetst wordt, waardoor
vervolgens het werk van de behandelaar(s) verbetert en ten opzichte van buitenstaanders te
legitimeren is. Het kent drie kenmerken:
Aansluiting: bij het ontwikkelingsniveau van de interventie
Inbedding: het onderzoek naar het effect moet procedureel ingebed zijn in de uitvoering
van de interventie.
Benutting: de verzamelde gegevens moeten benut worden, eerst op uitvoeringsniveau en
daarna op beleidsniveau.
1.4 Contouren van een praktijkgestuurd onderzoeksprogramma
2
, Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model van effectonderzoek. Het
kent verschillende vormen van bewijskracht, die elk ook een bepaalde definitie van effect
impliceren. Zie bovenstaande tabel. Op al deze niveaus gaat het om het verzamelen van
‘practice-based evidence’.
Niveau 1: Descriptieve bewijskracht -> Omschrijving (Effectiviteitspotentie)
De aard van de interventie wordt nader omschreven (doel, doelgroep, aanpak en context of
randvoorwaarden). Hoe meer de inhoud van een interventie de nieuwste inzichten in het
vakgebied weerspiegelt, en hoe duidelijker de interventie in een stappenplan of
handleiding uiteengelegd kan worden, hoe meer potentie hij heeft om effectief te zijn.
Niveau 2: Theoretische bewijskracht -> Onderbouwing (In theorie effectief)
Een interventietheorie (program theory) wordt geëxpliciteerd die intern een rationale en
extern een legitimatie voor het uitvoeren van een interventie geeft. Er wordt aannemelijk
gemaakt dat de geboden behandelvorm werkt.
Niveau 3: Indicatieve bewijskracht -> Meten (Empirische indicaties voor effectiviteit)
Het is het beste als het afnemen van de bedoelde meetinstrumenten volledig is ingebed in
het handelen, zoals in veranderingsonderzoek, doelrealisatieonderzoek of cliënt-
tevredenheidsonderzoek.
Niveau 4: Causale bewijskracht (Werkzame interventies)
Idealiter wordt bewezen dat de onderzochte interventie beter is dan geen interventie of een
andere interventie. Op dit niveau is practice-based evidence zo sterk dat ze kan bijdragen
aan het vestigen van evidence-based practice.
Effectladder in de kwaliteitsontwikkeling van de praktijk
3
