College aantekeningen Experimenteel KOM

KOM Hoorcolleges Deeltentamen 3

KOM 3 Hoorcollege 1 04-10-2019

Experiment
 Onderzoeksopzet en randomisatie
 Statistische hypothese opstellen
 Data verzamelen
 Inferentiële statistiek: hypothesen toetsen

Waarom zijn onderzoekers geïnteresseerd in causale verbanden?
 Begrijpen hoe de sociale werkelijkheid in elkaar zit
- Effect van motivatie op leerprestaties
- Effect van SES op toegang tot gezondheidszorg
 Beïnvloeden van die werkelijkheid
- Effect van inquiry-based learning op studiemotivatie van universitaire
studenten
- Effectiviteit van interventie voor het verbeteren van
gezondheidsvaardigheden bij bewoners van Overvecht

Voorwaarden causaliteit
 Covariance
 Temporal precedence
 Internal validity

Beste manier om te kunnen voldoen aan de drie voorwaarden = gerandomiseerd
experiment
 Onderzoeksopzet waarbij
- Door randomisatie de groepen hetzelfde worden verondersteld
- De onderzoeker een variabele manipuleert (varieert)
- De onderzoekers het effect daarvan op een andere variabele meet

Relatie tussen manier van aantekeningen maken (pen en papier vs. laptop) en
leerprestaties bij studenten

1. Covariance
- Is er samenhang tussen type aantekeningen en leerprestatie
- Type aantekening is de onafhankelijke variabele = gemanipuleerd
- Leerprestatie is de afhankelijke variabele = gemeten variabele, uitkomst
- Leerprestatie hangt af van het type aantekeningen
- Wanneer is er sprake van samenhang tussen type aantekeningen en
leerprestatie? Wanneer we verschil in leerprestatie zien tussen twee
groepen
- De onderzoekers verwachten een verschil in leerprestatie tussen
studenten in de twee experimentele groepen
- Hypothese: er is een verschil in scores op kennistoets tussen de papier en
pen-groep en de laptop-groep

, 2. Temporal precedence
- In een experiment kan de onderzoeker ervoor zorgen dat oorzaak
voorafgaat aan het gevolg
- Door de manipulatie uit te voeren voorafgaand aan de meting van de
afhankelijke variabele

3. Interne validiteit
- Is het wel de gemanipuleerde variabele die het verschil tussen de groepen
verklaart of is er een alternatieve verklaring?
- Bedreigingen van interne validiteit (confounding)
Design confounds: was de gemanipuleerde variabele wel het enige
verschil in de behandeling van de twee groepen? Tijdens het onderzoek
nog dingen gebeurd, waardoor er een verschil is
Selectie effect: waren de twee groepen wel vergelijkbaar bij aanvang van
het experiment? Hoe werden de groepen ingedeeld?

Hoe werden de groepen ingedeeld?
 Natuurlijke indeling / eigen keuze deelnemers? – kan leiden tot systematisch
verschil
 Op grond van bepaalde persoonskenmerken? – kan leiden tot systematisch
verschil
 Op basis van willekeur toegewezen?
 Willekeurige (random) toewijzing

Doel willekeurige toewijzing (randomisatie)
 Gemiddelde scores en spreiding in scores op alle variabelen, zowel gemeten
als ongemeten, bij aanvang vergelijkbaar zijn tussen de groepen
 Bijvoorbeeld door kop of munt

Uitvoering van willekeurige toewijzing
 Probleem bij kleine steekproef
- Groepen zijn niet altijd even groot
- Relevante kenmerken van deelnemers niet gelijkmatig verdeeld over de
condities
 Oplossing: complexere randomisatie methoden
 Soms is randomisatie deelnemers niet mogelijk
- Niet ethisch
- Praktisch onhaalbaar
 Soms wel mogelijk, maar gaat het mis
- Contaminatie: deelnemers in experimentele groep vertellen deelnemers in
controlegroep over deelname, deelnemers houden zich niet aan
behandeling, beïnvloeding door de onderzoeker

Onderzoeksvraag experimentieel onderzoek
 PICO
 Population: de groep mensen die de onderzoeker wil onderzoeken
 Intervention: groep nieuwe methoden
 Comparison: de vergelijkingsgroep, de traditionele manier
 Outcome: gemeten/afhankelijke variabele

, Heeft het tussentijds reviseren van aantekeningen effect op leerprestaties van
studenten?

P=studenten
I=tussentijds reviseren van aantekeningen
C=?
O=leerprestaties

Gerandomiseerd experiment: willekeurige toewijzing van deelnemers aan een van
de condities




Aselecte steekproef: externe validiteit, generaliseren naar de populatie
Randomisatie: interne validiteit, uitsluiten van selectie-effecten
Groepen: alles hetzelfde behalve de revisie. Als dit niet het geval is dan interne
validiteit in het geding, sprake van design confounds, slechte interne validiteit

Inferentiële statistiek: stappen NHST, nulhypothese
1. Formuleren hypothesen
2. Keuze en berekenen toetsingsgrootheid
3. Kans bepalen op resultaat gegeven H0
4. Beslissing nemen over H0

1.Formuleren hypothesen

 Naast de onderzoekshypothesen, stelt de onderzoeker de nulhypothesen op
- Geen effect
- Geen verschil
- Geen relatie
- Studenten die hun college-aantekeningen tussentijds reviseren hebben
gemiddeld dezelfde toets-score als studenten die dit niet doen

In de statistiek worden hypothesen vaak in symbolen opgeschreven
 Voor populaties en steekproeven gebruiken onderzoekers verschillende
symbolen
 Populatiegemiddelde: 𝜇

M.b.v. symbolen worden de hypothesen omgezet in statische hypothesen
𝐻 :𝜇 =𝜇
 0 revisie geen revisie = nulhypothese