Hoofdstuk 2, Statistiek
Een krachti g argumentati emiddel in pedagogisch onderzoek
2.1 - Inleiding
Pedagogisch onderzoekers hebben als doen de invloed van opvoeding op de ontwikkeling van
kinderen te beschrijven en te verklaren. Een belangrijk doel van pedagogisch onderzoek is om
theorieën te toetsen aan de praktijk. Dit kan bijvoorbeeld gedaan worden door inhoudelijke
argumenten uit die theorieën om te zetten in meetbare hypothesen en empirische onderbouwing te
zoeken voor deze hypothesen. Methoden om kenmerken van personen uit te drukken in getallen en
deze vervolgens zinvol te interpreteren zijn daarbij een belangrijk middel.
Bij het onderzoeken van een pedagogische theorie is het niet voldoende om uitspraken te doen over
individuele kinderen, aangezien ervaringen van individuele kinderen alleen al op basis van toeval
sterk van elkaar kunnen verschillen. Om algemeen toepasbare uitspraken te kunnen doen is het
nodig om grotere groepen kinderen met specifieke kenmerken te onderzoeken. Dit noem je ook wel
populaties. De meeste pedagogische vragen hebben betrekking op populaties die uit heel veel
personen bestaan, waardoor het onmogelijk is om alle individuen uit een populatie bij een onderzoek
te betrekken. Daarom worden uit populaties kleinere groepen mensen, steekproeven, geselecteerd.
Vervolgens moeten er op basis van die steekproeven betrouwbare uitspraken over populaties
gedaan worden. Omdat de kenmerken van de gehele populatie meestal niet zijn gemeten, is het
daarbij nodig een argumentatie op te zetten die ook aannemelijk is voor andere wetenschappers.
Statistiek biedt handvatten om dat te doen.
2.2 – Historische achtergrond
Tellen en meten van verschijnselen van opvoeding en onderwijs is een eeuwenoude traditie. Daarbij
werden statistische hulpmiddelen al vroeg gebruikt om de verzamelde gegevens te ordenen en te
bewerken voor de ondersteuning van pedagogische argumentaties. Trapp, de eerste hoogleraar
pedagogiek, deed concrete voorstellen voor beschrijvend empirisch onderzoek waarin geteld werd
hoe vaak voor iets gekozen werd. Latere pedagogen probeerden in navolging van succesvolle
experimenteel psychologen als Wundt experimenteel pedagogisch onderzoek vorm te geven.
Kohnstamm, hoogleraar thermodynamica wiens belangstelling uitging naar meer wijsgerige en
pedagogische vragen, nam in Nederland het voortouw tijdens de opbloeiende empirisch
pedagogische traditie. De statistiek heeft dus vanaf het allereerste begin een belangrijke rol gespeeld
in de pedagogiek, ondanks de langdurige dominantie van de geesteswetenschappelijke richting.
2.3 – De toepassing van statistiek in empirisch
onderzoek
2.3.1 – Meten is weten?
Pedagogen zouden graag algemene uitspraken willen doen over menselijk gedrag. Het lastige met
algemene uitspraken is dat ze nooit volledig opgaan. Deze uitspraken kennen beperkende
voorwaarden. Eén van de taken van wetenschappelijk onderzoek is het vinden van beperkingen die
er toe doen. Vaak is er sprake van interactie, dat wil zeggen dat de geldigheid van een bewering
afhangt van de toestand van een andere factor of conditie. Om uitspraken te doen over individuen,
ligt het voor de hand om metingen te doen. Die metingen kunnen van kwalitatieve aard zijn (meer
verhalend) of van kwantitatieve aard (uitgedrukt in getallen). Hiermee is het construct meetbaar
gemaakt. Het uitdrukken van constructen in getallen vormt de basis van de statistiek.
, Betrouwbaarheid: de mate van vertrouwen in een meting
Een meting op zichzelf is niet genoeg. Ook is het belangrijk om te weten in hoeverre die meting te
vertrouwen is. Een meetresultaat vertegenwoordigt nooit de ‘absolute waarheid’, maar bestaat voor
een deel uit meetfouten. Dit kunnen systematische fouten zijn, waar je er continu op eenzelfde
manier naast zit en je je niet bewust van bent op dat moment. Het kunnen ook toevallige fouten zijn,
deze worden veroorzaakt door verschillen naar moment en omstandigheid. Wanneer er nauwelijks
sprake is van toevallige fouten, wordt die meting betrouwbaar genoemd. Statistiek biedt
verschillende mogelijkheden om de betrouwbaarheid van metingen vast te stellen. Het herhaald
afnemen van testen onder verschillende omstandigheden en vervolgens berekenen van een maat
voor de samenhang (correlatie) tussen de afnames is er daar één van.
Generaliseerbaarheid: geldigheid van resultaten buiten de steekproef
Onderzoeken worden uitgevoerd bij steekproeven, terwijl er uitspraken worden gedaan over
populaties. Als een onderzoek tot dezelfde resultaten en conclusies zou hebben geleid in een andere
steekproef uit dezelfde populatie, geeft dat meer vertrouwen in de zeggingskracht van de metingen
over de populatie, ook wel de generaliseerbaarheid van resultaten. Die generaliseerbaarheid is voor
een groot deel afhankelijk van de mate waarin een steekproef een representatieve afspiegeling is van
de populatie. Een manier om daarvoor te zorgen is het aselect trekken van de steekproef. Hierbij
worden geen specifieke selectiecriteria gehanteerd, zodat iedereen uit de populatie de kans heeft in
de steekproef terecht kan komen. Echter is dit alleen haalbaar als de onderzoeker iedereen uit de
populatie kan bereiken. Doordat een steekproef vrijwel altijd veel kleiner is dan de populatie, is het
lastig anderen te overtuigen dat de resultaten zinvolle informatie geven over de gehele populatie.
Statistiek kan hier, via numerieke ondersteuning van de argumenten, bij helpen.
Statistische significantie: generaliseerbaarheid uitgedrukt in een getal
Als een onderzoeksresultaat statistisch significant is, kan het met voldoende vertrouwen
gegeneraliseerd worden naar de populatie. Om de significantie te bepalen, wordt een p-waarde
bepaald. Die p-waarde representeert de kans dat een resultaat door toeval in de steekproef
gevonden wordt, terwijl het in de populatie niet bestaat. Als een p-waarde 0,03 is, betekent dit dat
de kans dat het verschijnsel in de steekproef gevonden wordt, maar in de populatie niet bestaat
slechts 3%. Hoe kleiner dus de p-waarde, hoe meer vertrouwen in de generaliseerbaarheid. Dit staat
in principe los van de inhoudelijke relevantie van onderzoeksresultaten, die afhankelijk is van de
sterkte van het resultaat (effectgrootte) en theoretische argumenten.
Interpretatie en implicaties van statistische gegevens
Wanneer er voldoende vertrouwen is in de betrouwbaarheid en generaliseerbaarheid van een
onderzoeksresultaat, rest nog steeds de vraag naar de inhoudelijke betekenis van dat resultaat. Er
kan sprake zijn van een indirecte causale relatie, een derde variabele die het verband verklaart of een
omgekeerde causale relatie. Elk van deze verschillende conclusies zou leiden tot verschillende
praktische implicaties. Statistiek is op zichzelf geen middel om een keuze te maken uit verschillende
causale conclusies. Wanneer onderzoekers een causale vraag formuleren, moet het onderzoek zo
worden opgezet dat het zich leent voor causale antwoorden, waarbij alternatieve causale
verklaringen kunnen worden uitgesloten.
Causaliteit: de noodzaak van experimenten
Een onderzoeksopzet die bij uitstek geschikt is voor het beantwoorden van causale vraagstukken is
het experiment. In een experiment worden proefpersonen zonder specifieke selectiecriteria (aselect)
verdeeld over onderzoeksgroepen die vervolgens aan verschillende omstandigheden worden
onderworpen. Door de aselecte toewijzing van kinderen aan groepen, kan de onderzoeker er (bij een
Een krachti g argumentati emiddel in pedagogisch onderzoek
2.1 - Inleiding
Pedagogisch onderzoekers hebben als doen de invloed van opvoeding op de ontwikkeling van
kinderen te beschrijven en te verklaren. Een belangrijk doel van pedagogisch onderzoek is om
theorieën te toetsen aan de praktijk. Dit kan bijvoorbeeld gedaan worden door inhoudelijke
argumenten uit die theorieën om te zetten in meetbare hypothesen en empirische onderbouwing te
zoeken voor deze hypothesen. Methoden om kenmerken van personen uit te drukken in getallen en
deze vervolgens zinvol te interpreteren zijn daarbij een belangrijk middel.
Bij het onderzoeken van een pedagogische theorie is het niet voldoende om uitspraken te doen over
individuele kinderen, aangezien ervaringen van individuele kinderen alleen al op basis van toeval
sterk van elkaar kunnen verschillen. Om algemeen toepasbare uitspraken te kunnen doen is het
nodig om grotere groepen kinderen met specifieke kenmerken te onderzoeken. Dit noem je ook wel
populaties. De meeste pedagogische vragen hebben betrekking op populaties die uit heel veel
personen bestaan, waardoor het onmogelijk is om alle individuen uit een populatie bij een onderzoek
te betrekken. Daarom worden uit populaties kleinere groepen mensen, steekproeven, geselecteerd.
Vervolgens moeten er op basis van die steekproeven betrouwbare uitspraken over populaties
gedaan worden. Omdat de kenmerken van de gehele populatie meestal niet zijn gemeten, is het
daarbij nodig een argumentatie op te zetten die ook aannemelijk is voor andere wetenschappers.
Statistiek biedt handvatten om dat te doen.
2.2 – Historische achtergrond
Tellen en meten van verschijnselen van opvoeding en onderwijs is een eeuwenoude traditie. Daarbij
werden statistische hulpmiddelen al vroeg gebruikt om de verzamelde gegevens te ordenen en te
bewerken voor de ondersteuning van pedagogische argumentaties. Trapp, de eerste hoogleraar
pedagogiek, deed concrete voorstellen voor beschrijvend empirisch onderzoek waarin geteld werd
hoe vaak voor iets gekozen werd. Latere pedagogen probeerden in navolging van succesvolle
experimenteel psychologen als Wundt experimenteel pedagogisch onderzoek vorm te geven.
Kohnstamm, hoogleraar thermodynamica wiens belangstelling uitging naar meer wijsgerige en
pedagogische vragen, nam in Nederland het voortouw tijdens de opbloeiende empirisch
pedagogische traditie. De statistiek heeft dus vanaf het allereerste begin een belangrijke rol gespeeld
in de pedagogiek, ondanks de langdurige dominantie van de geesteswetenschappelijke richting.
2.3 – De toepassing van statistiek in empirisch
onderzoek
2.3.1 – Meten is weten?
Pedagogen zouden graag algemene uitspraken willen doen over menselijk gedrag. Het lastige met
algemene uitspraken is dat ze nooit volledig opgaan. Deze uitspraken kennen beperkende
voorwaarden. Eén van de taken van wetenschappelijk onderzoek is het vinden van beperkingen die
er toe doen. Vaak is er sprake van interactie, dat wil zeggen dat de geldigheid van een bewering
afhangt van de toestand van een andere factor of conditie. Om uitspraken te doen over individuen,
ligt het voor de hand om metingen te doen. Die metingen kunnen van kwalitatieve aard zijn (meer
verhalend) of van kwantitatieve aard (uitgedrukt in getallen). Hiermee is het construct meetbaar
gemaakt. Het uitdrukken van constructen in getallen vormt de basis van de statistiek.
, Betrouwbaarheid: de mate van vertrouwen in een meting
Een meting op zichzelf is niet genoeg. Ook is het belangrijk om te weten in hoeverre die meting te
vertrouwen is. Een meetresultaat vertegenwoordigt nooit de ‘absolute waarheid’, maar bestaat voor
een deel uit meetfouten. Dit kunnen systematische fouten zijn, waar je er continu op eenzelfde
manier naast zit en je je niet bewust van bent op dat moment. Het kunnen ook toevallige fouten zijn,
deze worden veroorzaakt door verschillen naar moment en omstandigheid. Wanneer er nauwelijks
sprake is van toevallige fouten, wordt die meting betrouwbaar genoemd. Statistiek biedt
verschillende mogelijkheden om de betrouwbaarheid van metingen vast te stellen. Het herhaald
afnemen van testen onder verschillende omstandigheden en vervolgens berekenen van een maat
voor de samenhang (correlatie) tussen de afnames is er daar één van.
Generaliseerbaarheid: geldigheid van resultaten buiten de steekproef
Onderzoeken worden uitgevoerd bij steekproeven, terwijl er uitspraken worden gedaan over
populaties. Als een onderzoek tot dezelfde resultaten en conclusies zou hebben geleid in een andere
steekproef uit dezelfde populatie, geeft dat meer vertrouwen in de zeggingskracht van de metingen
over de populatie, ook wel de generaliseerbaarheid van resultaten. Die generaliseerbaarheid is voor
een groot deel afhankelijk van de mate waarin een steekproef een representatieve afspiegeling is van
de populatie. Een manier om daarvoor te zorgen is het aselect trekken van de steekproef. Hierbij
worden geen specifieke selectiecriteria gehanteerd, zodat iedereen uit de populatie de kans heeft in
de steekproef terecht kan komen. Echter is dit alleen haalbaar als de onderzoeker iedereen uit de
populatie kan bereiken. Doordat een steekproef vrijwel altijd veel kleiner is dan de populatie, is het
lastig anderen te overtuigen dat de resultaten zinvolle informatie geven over de gehele populatie.
Statistiek kan hier, via numerieke ondersteuning van de argumenten, bij helpen.
Statistische significantie: generaliseerbaarheid uitgedrukt in een getal
Als een onderzoeksresultaat statistisch significant is, kan het met voldoende vertrouwen
gegeneraliseerd worden naar de populatie. Om de significantie te bepalen, wordt een p-waarde
bepaald. Die p-waarde representeert de kans dat een resultaat door toeval in de steekproef
gevonden wordt, terwijl het in de populatie niet bestaat. Als een p-waarde 0,03 is, betekent dit dat
de kans dat het verschijnsel in de steekproef gevonden wordt, maar in de populatie niet bestaat
slechts 3%. Hoe kleiner dus de p-waarde, hoe meer vertrouwen in de generaliseerbaarheid. Dit staat
in principe los van de inhoudelijke relevantie van onderzoeksresultaten, die afhankelijk is van de
sterkte van het resultaat (effectgrootte) en theoretische argumenten.
Interpretatie en implicaties van statistische gegevens
Wanneer er voldoende vertrouwen is in de betrouwbaarheid en generaliseerbaarheid van een
onderzoeksresultaat, rest nog steeds de vraag naar de inhoudelijke betekenis van dat resultaat. Er
kan sprake zijn van een indirecte causale relatie, een derde variabele die het verband verklaart of een
omgekeerde causale relatie. Elk van deze verschillende conclusies zou leiden tot verschillende
praktische implicaties. Statistiek is op zichzelf geen middel om een keuze te maken uit verschillende
causale conclusies. Wanneer onderzoekers een causale vraag formuleren, moet het onderzoek zo
worden opgezet dat het zich leent voor causale antwoorden, waarbij alternatieve causale
verklaringen kunnen worden uitgesloten.
Causaliteit: de noodzaak van experimenten
Een onderzoeksopzet die bij uitstek geschikt is voor het beantwoorden van causale vraagstukken is
het experiment. In een experiment worden proefpersonen zonder specifieke selectiecriteria (aselect)
verdeeld over onderzoeksgroepen die vervolgens aan verschillende omstandigheden worden
onderworpen. Door de aselecte toewijzing van kinderen aan groepen, kan de onderzoeker er (bij een
