Hoorcollege 1, onderzoeksdesign- opfrissen basiskennis methodologie en
onderzoek ethiek
11-11-2020
Interne en externe validiteit: zijn belangrijke begrippen binnen dit vak.
Inleidende hoofdstukken: t/m
hoofdstuk 9
Verschillende typen onderzoek: vanaf
hoofdstuk 13
Dit college:
Verschillende ethische zaken
Verschillende manieren om steekproeven te trekken
Verschillende typen instrumenten om data te verzamelen
Verschillende manieren om betrouwbaarheid en validiteit te bepalen
Hangt vaak af van jouw onderzoeksvraag en onderzoeksdoel
Voorbeelden van vragen:
Zijn kleinere klassen op de basisschool beter voor kinderen dan grotere klassen? kijken naar factor
klassengrootte
Een onderwerp op snijvlak ortho en onderwijswetenschappen
Een onderwerp op snijvlak onderwijswetenschappen en psychologie
Vaak onderzoek doen naar bepaalde interventies. Lastig om te onderzoeken omdat je met echte
mensen en echte scholen bezig gaat.
Meer jeugdzorg gerelateerd.
Waarom methodologie?
Er worden veel claims gedaan over het onderwijs en het opvoeden van kinderen. Veel mensen hebben hier een
sterke mening over. Dus we willen dat we professionals worden die onjuiste dingen door kunnen prikken.
Doel: wetenschappelijk geschoolde, levenslang lerende professional, die zelfstandig onderzoek kan
uitvoeren.
De empirische cyclus:
Ligt aan de basis van wetenschappelijk onderzoek.
Observeren, inductie, deductie, toetsing en evaluatie
,Soorten wetenschappelijk bewijs:
Praktijkkennis (bijvoorbeeld actieonderzoek) bedoelt om de eigen praktijk te verbeteren
o Bijvoorbeeld een leraar die in eigen klas tegen een probleem aanloop
Kennis op basis van case studies onderzoek naar een persoon of 1 groep. Niet bedoelt om te
generaliseren maar kunnen wel inzicht geven in processen
Kennis op basis van enquetes/interviews kennis van 1 iemand, intensief om te verwerken
Kennis op basis van correlationele studies wel een samenhang maar geen oorzaak gevolg.
Kennis op basis van quasi-experimentele studies de groepen worden niet willekeurig toegewezen,
maar er wordt wel een variabele gemanipuleerd (een interventie in een van de groepen)
Kennis op basis van experimentele studies de hoogste rang, niet altijd mogelijk in klas omdat je al
bepaalde groepen en klassen hebt. Dus niet random.
Kennis op basis van reviews en statistische meta-analyse review is meer een beschrijving, bij een
meta-analyse wordt er ook nog een effect geschat op basis van statistische methoden. Je studies
moeten dan voldoende vergelijkbaar zijn.
o Soms worden ze ook samen gedaan. Als je meta analyse hebt dan vaak ook een review.
Ook praktijkkennis is heel erg waardevol, alle onderzoeken hebben waarde.
vaak is het een combinatie van verschillende onderzoeken. Soms begin je bijvoorbeeld bij een klein theoretische
onderbouwing, kleine schaal (misschien wat eerste aanwijzingen). Dan ga je meer proefpersonen betrekken en
dan kom je steeds meer rechts.
Het kan dus zijn dat je daar niet komt omdat je geen geld hebt, het niet blijkt te werken (dit is bij
interventies).
Maar voor we aan het onderzoek beginnen…
Stel je wordt gevraagd een onderzoek uit te voeren om onderstaande onderzoeksvraag te beantwoorden:
Zijn de rekenvaardigheden van kinderen op de basisschool beter wanneer zij werken met tablets in plaats van
met een papieren lesmethode?
Intacte klassen,
Leeftijd van kinderen
, IQ van kinderen
Waar werken de kinderen doorgaans mee
Intacte klassen
Rekenpresentaties vooraf aan het onderzoek
Vergelijkbaarheid van groepen
Lesmethode, manier van werken
Hoe implementeert de leerkracht heeft te maken met de validiteit
Meeste reacties gaan over de steekproef is zeker heel belangrijk.
Rekenprestaties vooraf is ook belangrijk als je iets wil weten over de prestaties vooraf.
Daarnaast belangrijk om betrouwbare onderzoeksmethode te gebruiken (hoe meet je goed, een betrouwbare
toets)
En wat belangrijk is: ethische kwesties.
Wanneer mag je wetenschappelijk onderzoek uitvoeren bij kinderen?
Je wil niet dat kinderen slechter gaan leren door jouw onderzoek.
Wat kan nog?
Wat mag?
Hoe ga je op een respectvolle manier om met participanten?
Onderzoeksethiek (H4)
Nadenken over:
Mogelijke schade aan participanten als het de verkeerde kant uit gaat dan misschien vroegtijdig de
stekker er uit trekken.
Actieve/passieve toestemming ouders/kinderen dus ouders en oudere kinderen om toestemming
vragen
o AVG (algemene verorbering gegevensbescherming): de privacy van burgers moet beter
beschermd worden dan voorheen. Ouders moeten altijd af weten van het onderzoek.
o Passieve toestemming: mag eigenlijk vrijwel nooit meer. Altijd actieve toestemming: ze
moeten een vinkje of een handtekening zetten dat ze akkoord gaan
Vertrouwelijke gegevens (o.a. anonieme verwerking van data, resultaten niet herleidbaar tot
individuen: in rapportage wil je niet dat individuen herkenbaar zijn (ook niet zeggen, in deze wijk, in
deze stad, op deze school)
o Soms bij kinderen met andere etnische achtergrond niet altijd nodig om land te benoemen
Protocol dataverzameling en dataopslag
Nog meet ethische vragen:
o Wanneer mag je participanten misleiden soms is het onvermijdelijk maar je moet dit van te
voren verantwoorden
o In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg altijd voortbouwen
op vorig onderzoek. De consequenties zijn bijvoorbeeld groot
o In hoeverre kun je experimenteren met kleine en/of grote klassen? niet alle leerkrachten of
ouders zijn er blij mee dat ze een grote klas hebben.
o In hoeverre kun je experimenteren met inclusie van leerlingen met beperkingen veel ouders
zullen er niet bij mee zijn dat hun kind in de klas zit waar inclusie van zulke kinderen is.
Dus van te voren alles bedenken, goed over nadenken of deze protocollen kunnen. Voorleggen aan een
ethische commissie.
Er zijn manieren dat je geholpen kunt worden.
, Ethische dilemma’s bij experimenten
Klassiek voorbeeld: Stanley Milgram Milgram experiment: hoe lang gaat een proefpersoon door als
een testleider zegt dat je door moet gaan met schokken geven. Hoe gehoorzaam zijn mensen?
o Dit zou nu echt niet meer kunnen
o Is dit tot een bepaald niveau oké? Iets leren over de menselijke geest is goed. Er moet goede
nazorg
Recent voorbeeld: onderzoek naar COVID-19 vaccin: artikel Volkskrant
o Als je dit wil versnellen moet je zo veel mogelijk mensen corona geven. Maar ze kunnen ook
langdurig ziek worden hiervan. Mag je mensen bewust corona geven als je daar uiteindelijk
voordelen voor een hele bevolking van hebt.
o Dit kan opgelost worden, dan kun je vrijwilligers vragen
Plagiaat en fraude:
Gaat om hoe je handelt als wetenschapper
Kopiëren van teksten van anderen of jezelf. Er is wel een grijs gebied. Je schrijfproces bestaat uit heel
veel herdefiniëren
De correcte bron vermelden. Is soms best wel lastig als je helemaal terug moet gaan naar de
oorspronkelijke bron.
Manipuleren van onderzoeksgegevens. Overduidelijk dat dat niet kan. (Diederik Stapel). Maar ook
bijvoorbeeld als je gaat vissen naar interessante uitkomsten als dat niet je vooropgestelde hypothese is.
o Je moet bij je oorspronkelijke plan blijven
Nog even terug naar de vraag
Zijn de rekenvaardigheden van kinderen op de basisschool beter wanneer zij werken met tablets in plaats van
met een papieren lesmethode?
Aan welke ethische zaken moet je denken bij dit onderzoek?
Mag niet ten koste gaan van leerprestaties kinderen
Als een van de groepen duidelijk minder gaat presteren, hoe zorg je dat ze weer op goede niveau
komen?
Kinderen kunnen uitgesloten worden als de ouders geen toestemming geven om mee te doen
Kinderen kunnen handelen naar verwachting
Als je verwacht dat tablets beter werken, kun je die dan de andere groep onthouden?
Kinderen jaloers op elkaar
Steekproeven (H6)
Een populatie refereert aan alle leden van een bepaalde groep
De eerste stap bij steekproeftrekking is het helder definiëren van de populatie waarin men
geïnteresseerd is
Bij (ortho)pedagogisch en onderwijskundig onderzoek gaat het dan meestal om een groep van
personen die bepaalde eigenschappen heeft
Doelpopulatie: de populatie waarover je wil
generaliseren
Die heb je vaak niet in zijn geheel
beschikbaar.
bijv. leerlingen die met tablets werken op de
basisschool
Maar die populatie is zelden beschikbaar... dus:
Toegankelijke populatie: dit is vaak de populatie die je dan kiest. Alleen hier kun je dan naar generaliseren
onderzoek ethiek
11-11-2020
Interne en externe validiteit: zijn belangrijke begrippen binnen dit vak.
Inleidende hoofdstukken: t/m
hoofdstuk 9
Verschillende typen onderzoek: vanaf
hoofdstuk 13
Dit college:
Verschillende ethische zaken
Verschillende manieren om steekproeven te trekken
Verschillende typen instrumenten om data te verzamelen
Verschillende manieren om betrouwbaarheid en validiteit te bepalen
Hangt vaak af van jouw onderzoeksvraag en onderzoeksdoel
Voorbeelden van vragen:
Zijn kleinere klassen op de basisschool beter voor kinderen dan grotere klassen? kijken naar factor
klassengrootte
Een onderwerp op snijvlak ortho en onderwijswetenschappen
Een onderwerp op snijvlak onderwijswetenschappen en psychologie
Vaak onderzoek doen naar bepaalde interventies. Lastig om te onderzoeken omdat je met echte
mensen en echte scholen bezig gaat.
Meer jeugdzorg gerelateerd.
Waarom methodologie?
Er worden veel claims gedaan over het onderwijs en het opvoeden van kinderen. Veel mensen hebben hier een
sterke mening over. Dus we willen dat we professionals worden die onjuiste dingen door kunnen prikken.
Doel: wetenschappelijk geschoolde, levenslang lerende professional, die zelfstandig onderzoek kan
uitvoeren.
De empirische cyclus:
Ligt aan de basis van wetenschappelijk onderzoek.
Observeren, inductie, deductie, toetsing en evaluatie
,Soorten wetenschappelijk bewijs:
Praktijkkennis (bijvoorbeeld actieonderzoek) bedoelt om de eigen praktijk te verbeteren
o Bijvoorbeeld een leraar die in eigen klas tegen een probleem aanloop
Kennis op basis van case studies onderzoek naar een persoon of 1 groep. Niet bedoelt om te
generaliseren maar kunnen wel inzicht geven in processen
Kennis op basis van enquetes/interviews kennis van 1 iemand, intensief om te verwerken
Kennis op basis van correlationele studies wel een samenhang maar geen oorzaak gevolg.
Kennis op basis van quasi-experimentele studies de groepen worden niet willekeurig toegewezen,
maar er wordt wel een variabele gemanipuleerd (een interventie in een van de groepen)
Kennis op basis van experimentele studies de hoogste rang, niet altijd mogelijk in klas omdat je al
bepaalde groepen en klassen hebt. Dus niet random.
Kennis op basis van reviews en statistische meta-analyse review is meer een beschrijving, bij een
meta-analyse wordt er ook nog een effect geschat op basis van statistische methoden. Je studies
moeten dan voldoende vergelijkbaar zijn.
o Soms worden ze ook samen gedaan. Als je meta analyse hebt dan vaak ook een review.
Ook praktijkkennis is heel erg waardevol, alle onderzoeken hebben waarde.
vaak is het een combinatie van verschillende onderzoeken. Soms begin je bijvoorbeeld bij een klein theoretische
onderbouwing, kleine schaal (misschien wat eerste aanwijzingen). Dan ga je meer proefpersonen betrekken en
dan kom je steeds meer rechts.
Het kan dus zijn dat je daar niet komt omdat je geen geld hebt, het niet blijkt te werken (dit is bij
interventies).
Maar voor we aan het onderzoek beginnen…
Stel je wordt gevraagd een onderzoek uit te voeren om onderstaande onderzoeksvraag te beantwoorden:
Zijn de rekenvaardigheden van kinderen op de basisschool beter wanneer zij werken met tablets in plaats van
met een papieren lesmethode?
Intacte klassen,
Leeftijd van kinderen
, IQ van kinderen
Waar werken de kinderen doorgaans mee
Intacte klassen
Rekenpresentaties vooraf aan het onderzoek
Vergelijkbaarheid van groepen
Lesmethode, manier van werken
Hoe implementeert de leerkracht heeft te maken met de validiteit
Meeste reacties gaan over de steekproef is zeker heel belangrijk.
Rekenprestaties vooraf is ook belangrijk als je iets wil weten over de prestaties vooraf.
Daarnaast belangrijk om betrouwbare onderzoeksmethode te gebruiken (hoe meet je goed, een betrouwbare
toets)
En wat belangrijk is: ethische kwesties.
Wanneer mag je wetenschappelijk onderzoek uitvoeren bij kinderen?
Je wil niet dat kinderen slechter gaan leren door jouw onderzoek.
Wat kan nog?
Wat mag?
Hoe ga je op een respectvolle manier om met participanten?
Onderzoeksethiek (H4)
Nadenken over:
Mogelijke schade aan participanten als het de verkeerde kant uit gaat dan misschien vroegtijdig de
stekker er uit trekken.
Actieve/passieve toestemming ouders/kinderen dus ouders en oudere kinderen om toestemming
vragen
o AVG (algemene verorbering gegevensbescherming): de privacy van burgers moet beter
beschermd worden dan voorheen. Ouders moeten altijd af weten van het onderzoek.
o Passieve toestemming: mag eigenlijk vrijwel nooit meer. Altijd actieve toestemming: ze
moeten een vinkje of een handtekening zetten dat ze akkoord gaan
Vertrouwelijke gegevens (o.a. anonieme verwerking van data, resultaten niet herleidbaar tot
individuen: in rapportage wil je niet dat individuen herkenbaar zijn (ook niet zeggen, in deze wijk, in
deze stad, op deze school)
o Soms bij kinderen met andere etnische achtergrond niet altijd nodig om land te benoemen
Protocol dataverzameling en dataopslag
Nog meet ethische vragen:
o Wanneer mag je participanten misleiden soms is het onvermijdelijk maar je moet dit van te
voren verantwoorden
o In hoeverre kun je experimenteren in het onderwijs of in de jeugdzorg altijd voortbouwen
op vorig onderzoek. De consequenties zijn bijvoorbeeld groot
o In hoeverre kun je experimenteren met kleine en/of grote klassen? niet alle leerkrachten of
ouders zijn er blij mee dat ze een grote klas hebben.
o In hoeverre kun je experimenteren met inclusie van leerlingen met beperkingen veel ouders
zullen er niet bij mee zijn dat hun kind in de klas zit waar inclusie van zulke kinderen is.
Dus van te voren alles bedenken, goed over nadenken of deze protocollen kunnen. Voorleggen aan een
ethische commissie.
Er zijn manieren dat je geholpen kunt worden.
, Ethische dilemma’s bij experimenten
Klassiek voorbeeld: Stanley Milgram Milgram experiment: hoe lang gaat een proefpersoon door als
een testleider zegt dat je door moet gaan met schokken geven. Hoe gehoorzaam zijn mensen?
o Dit zou nu echt niet meer kunnen
o Is dit tot een bepaald niveau oké? Iets leren over de menselijke geest is goed. Er moet goede
nazorg
Recent voorbeeld: onderzoek naar COVID-19 vaccin: artikel Volkskrant
o Als je dit wil versnellen moet je zo veel mogelijk mensen corona geven. Maar ze kunnen ook
langdurig ziek worden hiervan. Mag je mensen bewust corona geven als je daar uiteindelijk
voordelen voor een hele bevolking van hebt.
o Dit kan opgelost worden, dan kun je vrijwilligers vragen
Plagiaat en fraude:
Gaat om hoe je handelt als wetenschapper
Kopiëren van teksten van anderen of jezelf. Er is wel een grijs gebied. Je schrijfproces bestaat uit heel
veel herdefiniëren
De correcte bron vermelden. Is soms best wel lastig als je helemaal terug moet gaan naar de
oorspronkelijke bron.
Manipuleren van onderzoeksgegevens. Overduidelijk dat dat niet kan. (Diederik Stapel). Maar ook
bijvoorbeeld als je gaat vissen naar interessante uitkomsten als dat niet je vooropgestelde hypothese is.
o Je moet bij je oorspronkelijke plan blijven
Nog even terug naar de vraag
Zijn de rekenvaardigheden van kinderen op de basisschool beter wanneer zij werken met tablets in plaats van
met een papieren lesmethode?
Aan welke ethische zaken moet je denken bij dit onderzoek?
Mag niet ten koste gaan van leerprestaties kinderen
Als een van de groepen duidelijk minder gaat presteren, hoe zorg je dat ze weer op goede niveau
komen?
Kinderen kunnen uitgesloten worden als de ouders geen toestemming geven om mee te doen
Kinderen kunnen handelen naar verwachting
Als je verwacht dat tablets beter werken, kun je die dan de andere groep onthouden?
Kinderen jaloers op elkaar
Steekproeven (H6)
Een populatie refereert aan alle leden van een bepaalde groep
De eerste stap bij steekproeftrekking is het helder definiëren van de populatie waarin men
geïnteresseerd is
Bij (ortho)pedagogisch en onderwijskundig onderzoek gaat het dan meestal om een groep van
personen die bepaalde eigenschappen heeft
Doelpopulatie: de populatie waarover je wil
generaliseren
Die heb je vaak niet in zijn geheel
beschikbaar.
bijv. leerlingen die met tablets werken op de
basisschool
Maar die populatie is zelden beschikbaar... dus:
Toegankelijke populatie: dit is vaak de populatie die je dan kiest. Alleen hier kun je dan naar generaliseren
