Hoorcollege 1: Experimenteel onderzoek
Vandaag
• Introductie experimenteel onderzoek
• t-toets om data te analyseren
• Type I/II fouten en power
Even terug...
• In correlationele deel: samenhang ≠ causaliteit
→ verschillende manieren
→ als we x hebben, willen wij iets zeggen over y
→ maar samenhang betekent niet correlatie
• Maar... vaak zijn onderzoekers wel geïnteresseerd in causale
verbanden:
→ dus met causale verbanden begrijpen wij: dat de een, veroorzaakt
de ander
o Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
o Effect van motivatie op leerprestaties
o Effect van SES op toegang tot gezondheidszorg
o Effect van inquiry-based learning op studiemotivatie van
universitaire studenten
o Effectiviteit van interventie voor het verbeteren van
gezondheidsvaardigheden bij bewoners van Overvecht
→ we willen wel onderzoek doen, waarbij we dit causale verbanden kunnen
uitleggen/ beantwoorden
→ kan niet met correlationeel onderzoek, maar wel met experimenteel
onderzoek
Voorwaarden causaliteit
• Covariance
o Er moet een relatie zijn tussen de oorzaak en het gevolg
→ Kan ook met corerationeel
• Temporal precedence
o De oorzaak moet in de tijd voorafgaan aan het gevolg
→ kan ook met corerationeel
• Internal validity
o Alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten
→ kan niet met corerationeel onderzoek
Causaliteit
1
, • Beste manier om te kunnen voldoen aan de drie voorwaarden is
middels een gerandomiseerd experiment:
o onderzoeksopzet waarbij
▪ door randomisatie de groepen worden ingedeeld
→ wat is randomisatie?
→ als je een groep mensen wilt verdelen voor een
onderzoek, dan gebruik je randomisatie om ze te verdelen
in een controle groep en een experiment groep
→ dus randomisatie is volledig willekeurig de participanten
indeeld in die groepen die je met elkaar wilt vergelijken in
de experiment
▪ de onderzoeker één variabele manipuleert (varieert)
→ andere betekenis in sociale wetenschappelijk onderzoek
→ de onderzoeker bepaald wat er met dit variabele
gebeurt
→ manipulatie is dus niet iets negatief, maar iets dat moet
gebeuren
→ bijv. een groep krijgt medicijn en die ander niet
▪ de onderzoeker het effect daarvan op een andere variabele
meet
→ hier zien we wat gebeurt in een causale verband
• Door randomisatie hebben we de grootste kans dat groepen
vergelijkbaar zijn
→ door randomisatie is de kans groter dat we die twee groepen met
elkaar kunnen vergelijken
→ we meten de effect van een variabele op een ander
→ we willen graag vergelijkbare groepen
→ door randomisatie zijn de groepen vergelijkbaar
Doel van randomisatie (willekeurige toewijzing)
• Door gebruik te maken van randomisatie hebben we de grootste kans
dat in de groepen
o de gemiddelde scores en spreiding in scores
o op alle variabelen, zowel gemeten als ongemeten
o bij aanvang vergelijkbaar zijn
2
,→ 50 participanten verdelen over 2 groepen
→ volledig willekeurig (geplaatst worden) → vergelijkbaar maken
• uitsluiten van alternatieve verklaringen
• voor het effect van de variabele
• we willen alternatieve verklaringen uitsluiten (woensdag gaat dit door)
→ geen voorkeur bij het verdelen
Experimenteel onderzoek
• In experimenteel onderzoek kijken we niet naar samenhang, maar
naar effect
o Effect van inquiry-based learning op studiemotivatie van
universitaire studenten
→ verschillende groepen met elkaar vergelijken
o Effectiviteit van interventie voor het verbeteren van
gezondheidsvaardigheden bij bewoners van Overvecht
→ twee groepen met meerdere meet momenten
→ we moeten wel weten wat we gaan meten
• Hoe stellen we dat effect vast? Waarop vergelijken we groepen of
meetmomenten?
o Gemiddelden
→ bij experimenteel onderzoek werken wij veel met gemiddelden
vergelijken
→ dus bijv. het gemiddelde van de ene groep vergelijken met de ander
groep
→ groeps gemiddelde
→ we spreken van effect wanneer de gemiddelde van de ene groep
groter is dan de andere groep
Voorbeeld
• Kinderen met rekenproblemen doen mee aan een experiment.
• De ene groep krijgt een specifieke instructiemethode: Directe
Instructie (experimentele groep). → ze krijgen heel precies uitgelegd/
precies instructies van de docent.
3
, De andere groep krijgt geen specifieke instructie (controlegroep).
• Is er effect van een specifieke rekeninstructie in vergelijking met een
controlegroep op de rekenprestaties van kinderen met
rekenproblemen?
→ voor een specifieke groep, heeft dat een effect op de prestatie van
kinderen met reken problemen?
Onafhankelijke en afhankelijke variabele
• Is er effect van een specifieke rekeninstructie in vergelijking met een
controlegroep op de rekenprestaties van kinderen met
rekenproblemen?
→ we hebben verschillende variabelen
→ op de vorige hoorcolleges ging het over
“de samenhang tussen x en y” of “y en x”
→ bij regressie ging het ook over 2 variabelen… hier staat x en y niet
zo vast (je kan het makkelijk omdraaien)
→ bij experimenteel is dit niet zo, x en y kan je niet zo maar
omdraaien
→ er is verschil tussen de variabelen
→ de een variabele heet: de afhankeljke variabele
• Afhankelijke variabele is de gemeten variabele (uitkomstvariabele)
o Rekenprestaties (bij dit voorbeeld)
→ wat we willen meten
• Onafhankelijke variabele is de gemanipuleerde variabele
o Instructie (Directe instructie of controle)
→ wat wordt manipuleert
→ heeft dit variabele effect over de ander variabele
→ op een experiment heb je nooit discussie over de onafhankelijke en
afhankelijke variabele, het is altijd heel duidelijk vanaf het begin
Onderzoeksvraag
• Een onderzoeksvraag van een experimenteel onderzoek kun je
herkennen aan de volgende elementen:
• PICO:
o Population
o Intervention
o Comparison
o Outcome
4
Vandaag
• Introductie experimenteel onderzoek
• t-toets om data te analyseren
• Type I/II fouten en power
Even terug...
• In correlationele deel: samenhang ≠ causaliteit
→ verschillende manieren
→ als we x hebben, willen wij iets zeggen over y
→ maar samenhang betekent niet correlatie
• Maar... vaak zijn onderzoekers wel geïnteresseerd in causale
verbanden:
→ dus met causale verbanden begrijpen wij: dat de een, veroorzaakt
de ander
o Begrijpen hoe de (sociale) werkelijkheid in elkaar zit
o Effect van motivatie op leerprestaties
o Effect van SES op toegang tot gezondheidszorg
o Effect van inquiry-based learning op studiemotivatie van
universitaire studenten
o Effectiviteit van interventie voor het verbeteren van
gezondheidsvaardigheden bij bewoners van Overvecht
→ we willen wel onderzoek doen, waarbij we dit causale verbanden kunnen
uitleggen/ beantwoorden
→ kan niet met correlationeel onderzoek, maar wel met experimenteel
onderzoek
Voorwaarden causaliteit
• Covariance
o Er moet een relatie zijn tussen de oorzaak en het gevolg
→ Kan ook met corerationeel
• Temporal precedence
o De oorzaak moet in de tijd voorafgaan aan het gevolg
→ kan ook met corerationeel
• Internal validity
o Alternatieve verklaringen voor de gevonden relatie moeten zijn
uitgesloten
→ kan niet met corerationeel onderzoek
Causaliteit
1
, • Beste manier om te kunnen voldoen aan de drie voorwaarden is
middels een gerandomiseerd experiment:
o onderzoeksopzet waarbij
▪ door randomisatie de groepen worden ingedeeld
→ wat is randomisatie?
→ als je een groep mensen wilt verdelen voor een
onderzoek, dan gebruik je randomisatie om ze te verdelen
in een controle groep en een experiment groep
→ dus randomisatie is volledig willekeurig de participanten
indeeld in die groepen die je met elkaar wilt vergelijken in
de experiment
▪ de onderzoeker één variabele manipuleert (varieert)
→ andere betekenis in sociale wetenschappelijk onderzoek
→ de onderzoeker bepaald wat er met dit variabele
gebeurt
→ manipulatie is dus niet iets negatief, maar iets dat moet
gebeuren
→ bijv. een groep krijgt medicijn en die ander niet
▪ de onderzoeker het effect daarvan op een andere variabele
meet
→ hier zien we wat gebeurt in een causale verband
• Door randomisatie hebben we de grootste kans dat groepen
vergelijkbaar zijn
→ door randomisatie is de kans groter dat we die twee groepen met
elkaar kunnen vergelijken
→ we meten de effect van een variabele op een ander
→ we willen graag vergelijkbare groepen
→ door randomisatie zijn de groepen vergelijkbaar
Doel van randomisatie (willekeurige toewijzing)
• Door gebruik te maken van randomisatie hebben we de grootste kans
dat in de groepen
o de gemiddelde scores en spreiding in scores
o op alle variabelen, zowel gemeten als ongemeten
o bij aanvang vergelijkbaar zijn
2
,→ 50 participanten verdelen over 2 groepen
→ volledig willekeurig (geplaatst worden) → vergelijkbaar maken
• uitsluiten van alternatieve verklaringen
• voor het effect van de variabele
• we willen alternatieve verklaringen uitsluiten (woensdag gaat dit door)
→ geen voorkeur bij het verdelen
Experimenteel onderzoek
• In experimenteel onderzoek kijken we niet naar samenhang, maar
naar effect
o Effect van inquiry-based learning op studiemotivatie van
universitaire studenten
→ verschillende groepen met elkaar vergelijken
o Effectiviteit van interventie voor het verbeteren van
gezondheidsvaardigheden bij bewoners van Overvecht
→ twee groepen met meerdere meet momenten
→ we moeten wel weten wat we gaan meten
• Hoe stellen we dat effect vast? Waarop vergelijken we groepen of
meetmomenten?
o Gemiddelden
→ bij experimenteel onderzoek werken wij veel met gemiddelden
vergelijken
→ dus bijv. het gemiddelde van de ene groep vergelijken met de ander
groep
→ groeps gemiddelde
→ we spreken van effect wanneer de gemiddelde van de ene groep
groter is dan de andere groep
Voorbeeld
• Kinderen met rekenproblemen doen mee aan een experiment.
• De ene groep krijgt een specifieke instructiemethode: Directe
Instructie (experimentele groep). → ze krijgen heel precies uitgelegd/
precies instructies van de docent.
3
, De andere groep krijgt geen specifieke instructie (controlegroep).
• Is er effect van een specifieke rekeninstructie in vergelijking met een
controlegroep op de rekenprestaties van kinderen met
rekenproblemen?
→ voor een specifieke groep, heeft dat een effect op de prestatie van
kinderen met reken problemen?
Onafhankelijke en afhankelijke variabele
• Is er effect van een specifieke rekeninstructie in vergelijking met een
controlegroep op de rekenprestaties van kinderen met
rekenproblemen?
→ we hebben verschillende variabelen
→ op de vorige hoorcolleges ging het over
“de samenhang tussen x en y” of “y en x”
→ bij regressie ging het ook over 2 variabelen… hier staat x en y niet
zo vast (je kan het makkelijk omdraaien)
→ bij experimenteel is dit niet zo, x en y kan je niet zo maar
omdraaien
→ er is verschil tussen de variabelen
→ de een variabele heet: de afhankeljke variabele
• Afhankelijke variabele is de gemeten variabele (uitkomstvariabele)
o Rekenprestaties (bij dit voorbeeld)
→ wat we willen meten
• Onafhankelijke variabele is de gemanipuleerde variabele
o Instructie (Directe instructie of controle)
→ wat wordt manipuleert
→ heeft dit variabele effect over de ander variabele
→ op een experiment heb je nooit discussie over de onafhankelijke en
afhankelijke variabele, het is altijd heel duidelijk vanaf het begin
Onderzoeksvraag
• Een onderzoeksvraag van een experimenteel onderzoek kun je
herkennen aan de volgende elementen:
• PICO:
o Population
o Intervention
o Comparison
o Outcome
4
