Wat is een experiment?
- Onderzoeksmethode die gebruikt wordt om een causaal verband (oorzaak-gevolg) tussen twee
variabelen aan te tonen
tijdsvolgorde (X gaat vooraf aan Y)
covariatie (als X verandert, verandert Y ook)
geen schijnbaar causaal verband (X en Y allebei door andere variabele veroorzaakt)
- Correlationeel verband (X en Y treden tegelijk op, maar X is niet de oorzaak van Y)
- Controlegroep: vergelijkingsgroep die de experimentele behandeling (manipulatie) niet krijgt
- Manipulatie: iets dat jij als onderzoeker varieert en waaraan je deelnemers aselect (willekeurig) kan
toewijzen
- Variabele: eigenschap van objecten of personen die verschillende waarden kan aannemen
onafhankelijk: variabele die je manipuleert, oorzaak (de waarden die de variabele kan
aannemen -> niveaus (soorten)) -> conditie: verschillende variabelen van manipulatie
afhankelijk: variabele waarop je het effect verwacht (vaak antwoord dat gegeven wordt)
VOORBEELDEN OEFENEN
- Soort onderzoeksvragen
Leidt X tot Y, veroorzaakt X Y, heeft X als effect Y, zijn X en Y causaal verbonden, etc
- Operationaliseren: meetbaar maken van de constructen (niet direct waarneembaar concept) die je
onderzoekt (Hoe ga je iets meten? -> Wat is donker/licht haar?)
hoe ga je iets meten? (validiteit)
- Meetniveaus
nominaal -> classificatie
ordinaal -> rangorde, je weet niet hoeveel afstand er tussen elke waarde zit
interval -> rangorde met gelijke intervallen, gemiddelde meten (bv temperatuur)
ratio -> rangorde met gelijke intervallen én een natuurlijk nulpunt
-> meetniveaus naar beneden kan, meetniveaus omhoog niet
Empirische cyclus en ethiek
Empirische cyclus
- Observatie -> inductie -> deductie -> toetsen -> evaluatie (-> observatie -> etc.)
hoeft niet te beginnen bij observatie
- Observaties
onderzoeker ‘’construeert’’ een probleem (praktijkobservatie/gedreven: eerder onderzoek)
- Inductie
in observatiefase geopperde veronderstelling wordt veralgemeniseerd (stelling)
goede hypothese: logisch consistent (één uitkomst), zuinig/zorgvuldig zijn, meetbaar zijn
- Deductie
uit algemene hypothese specifieke voorspellingen afleiden (langer dan inductie)
operationaliseren, nadenken over hoe je onderzoek er concreet uitziet
Formuleringsvarianten:
Bestaande onderzoeksliteratuur
Heldere definitie van categorieën varianten is nodig, bv:
- Met en zonder ontkenning
- Met en zonder een bepaald woord
Afbakenen van varianten
Meten: digitale media, fysiek (non-verbaal) gedrag, attitudemeting dmv vragenlijsten
(- Soorten hypotheses:
, universeel-deterministische hypothese (absolute zaken, geldt voor iedereen)
deterministische existentiehypothese (absolute zaken, geldt voor iedereen)
probabilistische hypothese, lees dit in boek/reader!!! -> zelf kunnen herkennen/formuleren)
- Toetsen
Onderzoek uitvoeren, verzamelen data
Referentiepunt (H0): experimentele groep en controlegroep/vergelijken eerder onderzoek
- H0 (nulhypothese), er is geen verschil tussen de groepen, iets heeft geen invloed
- gemiddelde tevredenheidsscore, alles behalve manipulatie wil je hetzelfde houden
Hoe definiëren we de resultaten (leren we bij statistiek)
- Evaluatiefase
Waarde bevindingen? Alternatieve verklaringen voor bevindingen? Zijn er verbeteringen?
- Onderzoek
Gaan er vanuit dat er geen verschil is in de echte wereld (referentiepunt, H0)
-> hoe onwaarschijnlijk is het dat er geen verschil is in de echte wereld (onderzoeken)
Ethiek
- Verantwoordelijkheid ten opzichte van de samenleving, participanten en collega-wetenschappers
- De Nederlandse Gedragscode Wetenschappelijke Integriteit
eerlijkheid (o.a. geen bronnen verzinnen/vervalsen)
zorgvuldigheid (o.a. gebruik wetenschappelijke onderzoeksmethoden)
transparantie (o.a. stappen in onderzoeksproces controleerbaar)
onafhankelijkheid (o.a. niet geleid door commerciële/politieke overwegingen (geld))
verantwoordelijkheid (o.a. rekening houden met legitieme belangen van betrokkenen)
- Participanten
volledige informed consent geven (gebeuren onvoorziene dingen? -> stoppen)
- korte beschrijving doel, procedure en duur studie
- beloning deelname toegelicht
- mogelijke risico’s, negatieve ervaringen en voordelen benoemd
- specifieke toestemming voor audio- en video-opnamen
- recht om deelname te weigeren en te stoppen
- contactgegevens verantwoordelijke voor de studie bij vragen
(- Debriefing achteraf: vaak zou volledige informatie van tevoren het effect van de
manipulatie mogelijk kunnen beïnvloeden -> achteraf volledige informatie geven)
Toetsingsfase (27-09-2022)
Empirische cyclus (De Groot 1968)
- Is de bewering waar? -> referentiepunt specificeren, hoe het ‘’normaalgesproken’’ is -> vergelijken
Referentiepunt = H0
Hypothese die je wilt toetsen = H1
Hoe groot is de kans dat …. (H1) Als normaalgesproken ….. (H0, referentiepunt)?
Is de kans kleiner dan 5 procent (er is een verschil), waarschijnlijk -> H1 aannemen
Is de kans groter dan 5 procent (er is amper verschil), onwaarschijnlijk -> H0 aanhouden
- Filosofisch: wat we strikt genomen doen is NIET kijken of H1 ‘’waar is’’, maar kijken of H0 ‘’bijzonder
onwaarschijnlijk’’ is
- H0: geen verschillen in de wereld
- eenzijdige of tweezijdige hypothese: bij tweezijdig specificeer je een verschil maar is een geen
indicatie naar welke kant het verschil op gaat. Bij eenzijdig wordt de richting van het verschil wel
gespecificeerd (..… beter/sneller/groter/mooier/etc. dan …..)
, - Toetsingsfase (kansberekening): stel dat H0 waar is (er is geen verschil), hoe groot is de kans dat je
de bepaalde gemiddelden observeer, is die kans kleiner dan 5 procent dan is er een significant
verschil/een effect, H1 aanhouden/H0 verwerpen OF is de kans groter dan 5 procent, verschillen zijn
te wijten aan toevalsfluctaties, H0 aanhouden
- Alpha-fout: kans op het onterecht aannemen van H1, wél verschil menen te meten
- Beta-fout: kans op het onterecht aannemen van H0, géén verschil menen te meten
- Gamma-fout: menselijke fout in opzet of uitvoering van het onderzoek
Validiteit
Meet je wat je wilt meten?
- Interne validiteit: in hoeverre zijn conclusies over de relaties tussen de onafhankelijke en
afhankelijke variabele geldig? -> zijn er andere oorzaken/ verklaringen dan dat ik gemanipuleerd
heb?
- Constructvaliditeit: in hoeverre zijn de operationalisaties van de afhankelijke en onafhankelijke
variabele adequaat?
- Externe validiteit: in hoeverre kunnen de conclusies gegeneraliseerd worden?
Bedreigingen
- Interne validiteit: selectie, uitval, geschiedenis (niet gemanipuleerd, maar losse effecten van
buitenaf), rijping, instrumenten, regressie naar het gemiddelde
regressie naar het gemiddelde: indelen in groepen, bij voorproef kunnen mensen per ongeluk
verkeerd ingedeeld worden door bv een slechte dag. Bij de naproef verschillen weer andere
mensen, waardoor de mensen met verschillende kwaliteiten dichter naar elkaar toekomen ->
regressie naar het gemiddelde (door storende factoren, proberen onder controle te houden)
- Constructvaliditeit: mono-operationalisatie (tekstbegrip meten dmv gebeurtenissen uit tekst in
goede volgorde te zetten, beter: convergente en divergente validiteit), verwachtingen/invloed van de
onderzoeker, Hawthorne-effect (mensen gedragen zich anders doordat ze weten dat ze onderzocht
worden), motivatie, keuze van de waarden van de onafhankelijke variabele, sturende werking van de
voormeting, sociaal wenselijk antwoorden, beperkte generaliseerbaarheid over constructen
plafond- en bodemeffect: mensen scoren super hoog of super laag
- Externe validiteit: populatie (doelgroeppopulatie, is vaak te groot om allemaal te ondervragen,
daarom een selectie maken (steekproef)), trekken van een steekproef (representatief: goede
afspiegeling van populatie, groot genoeg om nauwkeurig te kunnen zijn)
Random sampling: elk element had een gelijke kans om opgenomen te worden in de
steekproef -> geen reden om aan te nemen dat de steekproef afwijkt van de populatie ->
representatief/generaliseerbaar
Gelegenheidssteekproef: je selecteert die ‘’elementen’’ die het makkelijkst te bereiken zijn,
grotere kans op verschillen tussen steekproef en populatie
- Generaliseren NAAR vs generaliseren OVER:
naar beoogde doelgroep, situatie en tijd: gelden uitkomsten van de steekproef voor de
populatie? (conclusie)
over beoogde doelgroep, situatie en tijd: gelden uitkomsten voor alle deelgroepen binnen de
beoogde doelgroep? (tijdens onderzoek)
-> externe validiteit: hangt af van grootte en manier van steekproef, onderscheid generaliseren naar
en generaliseren over
Terminologie: statische validiteit, face validity, ecologische validiteit
- termen in handboeken voor validiteit, constructvaliditeit en interne validiteit -> storende factor
(cofound)
- Onderzoeksmethode die gebruikt wordt om een causaal verband (oorzaak-gevolg) tussen twee
variabelen aan te tonen
tijdsvolgorde (X gaat vooraf aan Y)
covariatie (als X verandert, verandert Y ook)
geen schijnbaar causaal verband (X en Y allebei door andere variabele veroorzaakt)
- Correlationeel verband (X en Y treden tegelijk op, maar X is niet de oorzaak van Y)
- Controlegroep: vergelijkingsgroep die de experimentele behandeling (manipulatie) niet krijgt
- Manipulatie: iets dat jij als onderzoeker varieert en waaraan je deelnemers aselect (willekeurig) kan
toewijzen
- Variabele: eigenschap van objecten of personen die verschillende waarden kan aannemen
onafhankelijk: variabele die je manipuleert, oorzaak (de waarden die de variabele kan
aannemen -> niveaus (soorten)) -> conditie: verschillende variabelen van manipulatie
afhankelijk: variabele waarop je het effect verwacht (vaak antwoord dat gegeven wordt)
VOORBEELDEN OEFENEN
- Soort onderzoeksvragen
Leidt X tot Y, veroorzaakt X Y, heeft X als effect Y, zijn X en Y causaal verbonden, etc
- Operationaliseren: meetbaar maken van de constructen (niet direct waarneembaar concept) die je
onderzoekt (Hoe ga je iets meten? -> Wat is donker/licht haar?)
hoe ga je iets meten? (validiteit)
- Meetniveaus
nominaal -> classificatie
ordinaal -> rangorde, je weet niet hoeveel afstand er tussen elke waarde zit
interval -> rangorde met gelijke intervallen, gemiddelde meten (bv temperatuur)
ratio -> rangorde met gelijke intervallen én een natuurlijk nulpunt
-> meetniveaus naar beneden kan, meetniveaus omhoog niet
Empirische cyclus en ethiek
Empirische cyclus
- Observatie -> inductie -> deductie -> toetsen -> evaluatie (-> observatie -> etc.)
hoeft niet te beginnen bij observatie
- Observaties
onderzoeker ‘’construeert’’ een probleem (praktijkobservatie/gedreven: eerder onderzoek)
- Inductie
in observatiefase geopperde veronderstelling wordt veralgemeniseerd (stelling)
goede hypothese: logisch consistent (één uitkomst), zuinig/zorgvuldig zijn, meetbaar zijn
- Deductie
uit algemene hypothese specifieke voorspellingen afleiden (langer dan inductie)
operationaliseren, nadenken over hoe je onderzoek er concreet uitziet
Formuleringsvarianten:
Bestaande onderzoeksliteratuur
Heldere definitie van categorieën varianten is nodig, bv:
- Met en zonder ontkenning
- Met en zonder een bepaald woord
Afbakenen van varianten
Meten: digitale media, fysiek (non-verbaal) gedrag, attitudemeting dmv vragenlijsten
(- Soorten hypotheses:
, universeel-deterministische hypothese (absolute zaken, geldt voor iedereen)
deterministische existentiehypothese (absolute zaken, geldt voor iedereen)
probabilistische hypothese, lees dit in boek/reader!!! -> zelf kunnen herkennen/formuleren)
- Toetsen
Onderzoek uitvoeren, verzamelen data
Referentiepunt (H0): experimentele groep en controlegroep/vergelijken eerder onderzoek
- H0 (nulhypothese), er is geen verschil tussen de groepen, iets heeft geen invloed
- gemiddelde tevredenheidsscore, alles behalve manipulatie wil je hetzelfde houden
Hoe definiëren we de resultaten (leren we bij statistiek)
- Evaluatiefase
Waarde bevindingen? Alternatieve verklaringen voor bevindingen? Zijn er verbeteringen?
- Onderzoek
Gaan er vanuit dat er geen verschil is in de echte wereld (referentiepunt, H0)
-> hoe onwaarschijnlijk is het dat er geen verschil is in de echte wereld (onderzoeken)
Ethiek
- Verantwoordelijkheid ten opzichte van de samenleving, participanten en collega-wetenschappers
- De Nederlandse Gedragscode Wetenschappelijke Integriteit
eerlijkheid (o.a. geen bronnen verzinnen/vervalsen)
zorgvuldigheid (o.a. gebruik wetenschappelijke onderzoeksmethoden)
transparantie (o.a. stappen in onderzoeksproces controleerbaar)
onafhankelijkheid (o.a. niet geleid door commerciële/politieke overwegingen (geld))
verantwoordelijkheid (o.a. rekening houden met legitieme belangen van betrokkenen)
- Participanten
volledige informed consent geven (gebeuren onvoorziene dingen? -> stoppen)
- korte beschrijving doel, procedure en duur studie
- beloning deelname toegelicht
- mogelijke risico’s, negatieve ervaringen en voordelen benoemd
- specifieke toestemming voor audio- en video-opnamen
- recht om deelname te weigeren en te stoppen
- contactgegevens verantwoordelijke voor de studie bij vragen
(- Debriefing achteraf: vaak zou volledige informatie van tevoren het effect van de
manipulatie mogelijk kunnen beïnvloeden -> achteraf volledige informatie geven)
Toetsingsfase (27-09-2022)
Empirische cyclus (De Groot 1968)
- Is de bewering waar? -> referentiepunt specificeren, hoe het ‘’normaalgesproken’’ is -> vergelijken
Referentiepunt = H0
Hypothese die je wilt toetsen = H1
Hoe groot is de kans dat …. (H1) Als normaalgesproken ….. (H0, referentiepunt)?
Is de kans kleiner dan 5 procent (er is een verschil), waarschijnlijk -> H1 aannemen
Is de kans groter dan 5 procent (er is amper verschil), onwaarschijnlijk -> H0 aanhouden
- Filosofisch: wat we strikt genomen doen is NIET kijken of H1 ‘’waar is’’, maar kijken of H0 ‘’bijzonder
onwaarschijnlijk’’ is
- H0: geen verschillen in de wereld
- eenzijdige of tweezijdige hypothese: bij tweezijdig specificeer je een verschil maar is een geen
indicatie naar welke kant het verschil op gaat. Bij eenzijdig wordt de richting van het verschil wel
gespecificeerd (..… beter/sneller/groter/mooier/etc. dan …..)
, - Toetsingsfase (kansberekening): stel dat H0 waar is (er is geen verschil), hoe groot is de kans dat je
de bepaalde gemiddelden observeer, is die kans kleiner dan 5 procent dan is er een significant
verschil/een effect, H1 aanhouden/H0 verwerpen OF is de kans groter dan 5 procent, verschillen zijn
te wijten aan toevalsfluctaties, H0 aanhouden
- Alpha-fout: kans op het onterecht aannemen van H1, wél verschil menen te meten
- Beta-fout: kans op het onterecht aannemen van H0, géén verschil menen te meten
- Gamma-fout: menselijke fout in opzet of uitvoering van het onderzoek
Validiteit
Meet je wat je wilt meten?
- Interne validiteit: in hoeverre zijn conclusies over de relaties tussen de onafhankelijke en
afhankelijke variabele geldig? -> zijn er andere oorzaken/ verklaringen dan dat ik gemanipuleerd
heb?
- Constructvaliditeit: in hoeverre zijn de operationalisaties van de afhankelijke en onafhankelijke
variabele adequaat?
- Externe validiteit: in hoeverre kunnen de conclusies gegeneraliseerd worden?
Bedreigingen
- Interne validiteit: selectie, uitval, geschiedenis (niet gemanipuleerd, maar losse effecten van
buitenaf), rijping, instrumenten, regressie naar het gemiddelde
regressie naar het gemiddelde: indelen in groepen, bij voorproef kunnen mensen per ongeluk
verkeerd ingedeeld worden door bv een slechte dag. Bij de naproef verschillen weer andere
mensen, waardoor de mensen met verschillende kwaliteiten dichter naar elkaar toekomen ->
regressie naar het gemiddelde (door storende factoren, proberen onder controle te houden)
- Constructvaliditeit: mono-operationalisatie (tekstbegrip meten dmv gebeurtenissen uit tekst in
goede volgorde te zetten, beter: convergente en divergente validiteit), verwachtingen/invloed van de
onderzoeker, Hawthorne-effect (mensen gedragen zich anders doordat ze weten dat ze onderzocht
worden), motivatie, keuze van de waarden van de onafhankelijke variabele, sturende werking van de
voormeting, sociaal wenselijk antwoorden, beperkte generaliseerbaarheid over constructen
plafond- en bodemeffect: mensen scoren super hoog of super laag
- Externe validiteit: populatie (doelgroeppopulatie, is vaak te groot om allemaal te ondervragen,
daarom een selectie maken (steekproef)), trekken van een steekproef (representatief: goede
afspiegeling van populatie, groot genoeg om nauwkeurig te kunnen zijn)
Random sampling: elk element had een gelijke kans om opgenomen te worden in de
steekproef -> geen reden om aan te nemen dat de steekproef afwijkt van de populatie ->
representatief/generaliseerbaar
Gelegenheidssteekproef: je selecteert die ‘’elementen’’ die het makkelijkst te bereiken zijn,
grotere kans op verschillen tussen steekproef en populatie
- Generaliseren NAAR vs generaliseren OVER:
naar beoogde doelgroep, situatie en tijd: gelden uitkomsten van de steekproef voor de
populatie? (conclusie)
over beoogde doelgroep, situatie en tijd: gelden uitkomsten voor alle deelgroepen binnen de
beoogde doelgroep? (tijdens onderzoek)
-> externe validiteit: hangt af van grootte en manier van steekproef, onderscheid generaliseren naar
en generaliseren over
Terminologie: statische validiteit, face validity, ecologische validiteit
- termen in handboeken voor validiteit, constructvaliditeit en interne validiteit -> storende factor
(cofound)
