Samenvatting thema’s
2.4 extracurriculaire verdieping HOEFT NIET!!!
Thema 1:
De menselijke geest die onze zintuigelijke informatie verwerkt, is gevoelig voor
verstoringen in de in formatieverwerking. Hoewel mensen vaak anders denken,
zijn onze ideeën over de werkelijkheid niet zomaar te vertrouwen. Om de
werkelijkheid in kaart te brengen, zijn daarom systematische methoden van
informatieverzameling en -verwerking nodig. Wetenschap vormt de zoektocht
naar kennis, waarbij die kennis via een systematische methode wordt verkregen.
In het systematische proces van wetenschappelijk onderzoek zijn vijf fasen te
onderscheiden, die samen de empirische onderzoekscyclus vormen. Empirisch
onderzoek is onderzoek waarbij data wordt verzameld. In de praktijk is bijna al
het onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus omvat vijf fasen.
- Onderzoeksvraag formuleren
- Studie ontwerpen
- Data verzamelen
- Data analyseren
- Rapporteren
In de praktijk lopen de fasen enigszins door elkaar heen. Dataverzameling kan
alleen nooit beginnen voordat de studie ontworpen is.
Replicatiecrisis: men ging veel bekende psychologische studies herhalen en zo
kwamen we erachter dat veel ervan niet te repliceren waren. Dit betekent dat als
onderzoekers hetzelfde onderzoek herhaalden ze niet tot dezelfde uitkomsten
kwamen.
Publicatie bias: de neiging van tijdschriften om alleen studies te publiceren die
effecten laten zien, dus waarbij de theorie die getoetst wordt in een artikel
overeenkomt met de gevonden data.
Dubieuze onderzoekspraktijken: gebaseerd op gewenste resultaten in plaats van
op het zuiver uitvoeren van onderzoek. Gaat meestal om:
- Het selectief rapporteren van variabelen of condities in een studie;
bijvoorbeeld alleen de variabelen of condities die het gewenste effect
laten zien
- Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-
analyse besluiten om wel of niet een extra variabele in de analyse te
betrekken of om bepaalde afwijkende scores wel of niet in de dataset te
laten
- Selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis
van de uitkomsten van het onderzoek bepaalde hypotheses achterwege
laten of achteraf aanpassen zodat deze beter aansluiten bij de gevonden
resultaten
- Flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten
om extra data te verzamelen – omdat voorlopige data-analyse nog niet
de gewenste effecten laat zien – of juist eerder te stoppen met de
1
, dataverzameling – omdat voorlopige data-analyse al het gewenste effect
laat zien.
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en
methode van dataverzameling en -analyse. (Gaat dit niet goed? mogelijkheid
tot dubieuze onderzoekspraktijken.)
Full disclosure houdt in dat volledige openheid wordt gegeven over het
onderzoeksproces.
Psychologische constructen: psychologische variabelen waarbij de definitie is
afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en wat niet tot
de variabele behoort. Zoals bijv. extraversie
Om psychologische constructen te meten, worden operationalisaties gebruikt.
Twee soorten operationalisaties: meetinstrumenten en manipulaties.
In meetinstrumenten worden constructen gemeten met verschillende items (ook
wel stimuli genoemd), die samen het betreffende construct omvatten.
Items kunnen uitspraken betreffen: “ik hou van feestjes” of vragen: “in welke
mate is geld belangrijk voor u?”, waarop gereageerd kan worden aan de hand
van bijv. antwoordschalen. Maar items kunnen ook taken en observaties
omvatten. Bij taken kan het bijvoorbeeld gaan om computertaakjes waarbij
reactietijden worden gemeten, of de meting van het consultatiebureau of een
peuter met vier blokjes een toren kan bouwen. Bij observaties kan gedacht
worden aan video-opnames waarbij aan de hand van een protocol geteld wordt
hoeveel snoepjes iemand eet of hoe vaak deelnemers oogcontact maken.
Waar meetinstrumenten tot doel hebben om datapunten te verzamelen zonder
het betreffende construct te beïnvloeden, is het doel van manipulaties juist wel
om een construct te beïnvloeden. Door het manipuleren van variabelen in
experimenteel onderzoek kan onderzocht worden of er een causaal verband
bestaat tussen twee variabelen, oftewel, of een verandering in de ene variabele
een verandering in de andere variabele veroorzaakt.
Bij een manipulatie worden stimuli aan deelnemers gepresenteerd,
bijvoorbeeld in de vorm van beelden, geluiden, woorden of video’s, om een
bepaalde toestand van of verandering in het construct teweeg te brengen.
Denk specifiek aan instructies aan de deelnemer of de inhoud van een filmpje
waaraan deelnemers worden blootgesteld. Er zijn allerlei manipulaties
mogelijk. Enkele voorbeelden zijn:
deelnemers vertellen dat ze een beloning krijgen als ze goed presteren
deelnemers naar een verdrietig filmpje laten kijken
deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt
omgaan met sociale druk met betrekking tot alcoholconsumptie
deelnemers een alinea laten schrijven over hun best mogelijke zelf
deelnemers een vernieuwde leesmethode laten toepassen
Wanneer een variabele gemanipuleerd wordt, moet de onderzoeker op een
consistente wijze getallen toekennen aan de verschillende condities van de
gemanipuleerde variabele, bijvoorbeeld een 0 voor deelnemers die de
manipulatie niet ontvingen en een 1 voor deelnemers die de manipulatie wel
ontvingen. Soms zijn er verschillende versies van een manipulatie. Deelnemers
2
,wordt bijvoorbeeld geen, een kleine, of een grote beloning beloofd; of
deelnemers krijgen de oorspronkelijke leesoefening, een leesoefening waarin
wordt aangeraden om levendige voorstellingen van situaties te maken, of
leesoefeningen waarin ze worden begeleid in het inzetten van hun
voorstellingsvermogen. Deelnemers krijgen dan bijvoorbeeld een 1, een 2, of
een 3 toegekend op de variabele in de datafile die de manipulatie registreert.
In een reflectief meetmodel lopen er lijnen van het construct, ook wel de latente
variabele genoemd, naar de indicatoren. De richting van de pijl is hierbij
belangrijk. Een reflectief meetmodel is niet van toepassing op alle variabelen
die binnen de psychologie worden onderzocht. Bijvoorbeeld bij indexvariabelen
zoals sociaaleconomische status, waarbij een aantal relevante zaken zoals
inkomen, postcode etc. bij elkaar worden opgeteld, is een reflectief meetmodel
niet van toepassing.
Meestal worden alleen meetmodellen opgesteld voor meetinstrumenten. Bij
manipulaties worden deelnemers vaak aan slechts één stimulus blootgesteld,
in tegenstelling tot meetinstrumenten die vaak uit meerdere items bestaan.
Het meetmodel van een manipulatie bestaat dan slechts uit één indicator
(want één stimulus). Let erop dat bij het meetmodel van een manipulatie de
pijl in tegengestelde richting loopt, van de indicator (weergegeven in een
vierkant) naar het construct (weergegeven in een ovaal). De stimulus wordt
namelijk aangeboden om het construct te beïnvloeden.
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert
heet de betrouwbaarheid van die meting. Door na te gaan in hoeverre het
meetresultaat afwijkt wanneer je deze bijvoorbeeld een week later herhaalt,
kun je de (on)betrouwbaarheid van de meting bepalen. Hoe meer die tweede
meting afwijkt, hoe minder betrouwbaar het meetinstrument is.
Toevallige invloeden op een testscore noemen we samen de niet-
systematische meetfout (bij het afnemen van een intelligentietest zal iemands
IQ-score de ene keer iets hoger uitvallen door toevallige verstorende invloeden,
bijv. omdat die persoon niet goed heeft geslapen).
Wanneer iemand lijdt aan insomnia en stelselmatig slecht slaapt, is de
verstoring door het slechte slapen geen niet-systematische meetfout, maar een
systematische meetfout, ook wel bias genoemd.
Er zijn grofweg twee benaderingen om de vraag te beantwoorden of een
meetinstrument valide is voor een bepaalde toepassing (in een
bepaalde steekproef van een populatie): de causale opvatting van validiteit en
constructvaliditeit. Binnen de causale opvatting van validiteit is een test valide
om een bepaald construct te meten als (1) het construct bestaat en (2) de
verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden. Bij deze opvatting van validiteit
wordt ervan uitgegaan dat je pas goed kunt nagaan of een meetinstrument
valide is, als je weet hoe een meetinstrument werkt, dus als je weet welke
3
, processen worden aangesproken die uiteindelijk in een bepaalde testscore
resulteren.
Een simpel voorbeeld kan dit verduidelijken. Als je wilt weten of een
thermometer valide is, moet je volgens de causale opvatting begrijpen hoe een
thermometer werkt om aan de eerste voorwaarde te voldoen. Een
kwikthermometer of andere vloeistofthermometer is gebaseerd op het principe
dat de vloeistof in de thermometer uitzet bij hogere temperaturen. Vervolgens
kun je de thermometer testen door deze in een pannetje water te leggen, het
water langzaam op te warmen totdat het water kookt en na te gaan of dit
resulteert in steeds hogere meetwaardes op de thermometer totdat 100
graden wordt bereikt. Hiermee test je de tweede voorwaarde.
Binnen de opvatting van constructvaliditeit wordt voorbijgegaan aan de vraag
of het construct, dat het meetinstrument zou moeten meten, überhaupt
bestaat. Ook wordt niet uitgezocht hoe het meetinstrument werkt, dus de
manier waarop verschillen tussen mensen in het construct zouden leiden tot
verschillende scores op het meetinstrument. In plaats daarvan wordt er
gekeken in hoeverre interpretaties van testscores ondersteund worden door
theorie en empirisch bewijs voor het gebruik van deze test.
Constructvaliditeit:
indruksvaliditeit of face validity: de mate waarin het meetinstrument de
indruk geeft te meten wat het zou moeten meten na bestudering van het
meetinstrument door een leek of iemand uit het vakgebied. Deze
benadering is erg praktisch; de onderzoeker hoeft het meetinstrument
alleen nauwkeurig te bekijken.
criteriumvaliditeit of criterion validity: de mate waarin de uitkomsten van
een meetinstrument als verwacht samenhangen met die op een ander
meetinstrument of uitkomstmaat. Van een intelligentietest wordt
bijvoorbeeld verwacht dat deze samenhangt met schoolcijfers.
externe validiteit: de mate waarin de uitkomsten van een studie
gegeneraliseerd kunnen worden naar de doelpopulatie. Wetenschappelijk
onderzoek wordt vaak uitgevoerd in kunstmatige omstandigheden, zoals
een laboratorium. Externe validiteit gaat in op de vraag in hoeverre de
gevonden patronen ook buiten de onderzochte context gelden.
inhoudsvaliditeit of content validity: de mate waarin de items van het
meetinstrument het gehele construct omvatten. Impulsiviteit wordt
bijvoorbeeld gezien als een multifactorieel construct. Een meetinstrument
met goede inhoudsvaliditeit moet al die verschillende aspecten van
impulsiviteit omvatten. Een meetinstrument dat impulsiviteit beoogt te
meten, maar enkel items bevat over een deelaspect daarvan, bijvoorbeeld
alleen over ‘sensation seeking’, heeft geen goede inhoudsvaliditeit.
4
2.4 extracurriculaire verdieping HOEFT NIET!!!
Thema 1:
De menselijke geest die onze zintuigelijke informatie verwerkt, is gevoelig voor
verstoringen in de in formatieverwerking. Hoewel mensen vaak anders denken,
zijn onze ideeën over de werkelijkheid niet zomaar te vertrouwen. Om de
werkelijkheid in kaart te brengen, zijn daarom systematische methoden van
informatieverzameling en -verwerking nodig. Wetenschap vormt de zoektocht
naar kennis, waarbij die kennis via een systematische methode wordt verkregen.
In het systematische proces van wetenschappelijk onderzoek zijn vijf fasen te
onderscheiden, die samen de empirische onderzoekscyclus vormen. Empirisch
onderzoek is onderzoek waarbij data wordt verzameld. In de praktijk is bijna al
het onderzoek te beschouwen als empirisch onderzoek.
De empirische onderzoekscyclus omvat vijf fasen.
- Onderzoeksvraag formuleren
- Studie ontwerpen
- Data verzamelen
- Data analyseren
- Rapporteren
In de praktijk lopen de fasen enigszins door elkaar heen. Dataverzameling kan
alleen nooit beginnen voordat de studie ontworpen is.
Replicatiecrisis: men ging veel bekende psychologische studies herhalen en zo
kwamen we erachter dat veel ervan niet te repliceren waren. Dit betekent dat als
onderzoekers hetzelfde onderzoek herhaalden ze niet tot dezelfde uitkomsten
kwamen.
Publicatie bias: de neiging van tijdschriften om alleen studies te publiceren die
effecten laten zien, dus waarbij de theorie die getoetst wordt in een artikel
overeenkomt met de gevonden data.
Dubieuze onderzoekspraktijken: gebaseerd op gewenste resultaten in plaats van
op het zuiver uitvoeren van onderzoek. Gaat meestal om:
- Het selectief rapporteren van variabelen of condities in een studie;
bijvoorbeeld alleen de variabelen of condities die het gewenste effect
laten zien
- Flexibiliteit bij de data-analyse; op basis van de uitkomsten van de data-
analyse besluiten om wel of niet een extra variabele in de analyse te
betrekken of om bepaalde afwijkende scores wel of niet in de dataset te
laten
- Selectiviteit of flexibiliteit bij het opstellen van de hypotheses; op basis
van de uitkomsten van het onderzoek bepaalde hypotheses achterwege
laten of achteraf aanpassen zodat deze beter aansluiten bij de gevonden
resultaten
- Flexibiliteit bij de dataverzameling; op basis van de resultaten besluiten
om extra data te verzamelen – omdat voorlopige data-analyse nog niet
de gewenste effecten laat zien – of juist eerder te stoppen met de
1
, dataverzameling – omdat voorlopige data-analyse al het gewenste effect
laat zien.
Preregistratie: het vastleggen van de onderzoeksvraag, onderzoeksopzet en
methode van dataverzameling en -analyse. (Gaat dit niet goed? mogelijkheid
tot dubieuze onderzoekspraktijken.)
Full disclosure houdt in dat volledige openheid wordt gegeven over het
onderzoeksproces.
Psychologische constructen: psychologische variabelen waarbij de definitie is
afgeleid vanuit theorie en waarbij die definitie specificeert wat wel en wat niet tot
de variabele behoort. Zoals bijv. extraversie
Om psychologische constructen te meten, worden operationalisaties gebruikt.
Twee soorten operationalisaties: meetinstrumenten en manipulaties.
In meetinstrumenten worden constructen gemeten met verschillende items (ook
wel stimuli genoemd), die samen het betreffende construct omvatten.
Items kunnen uitspraken betreffen: “ik hou van feestjes” of vragen: “in welke
mate is geld belangrijk voor u?”, waarop gereageerd kan worden aan de hand
van bijv. antwoordschalen. Maar items kunnen ook taken en observaties
omvatten. Bij taken kan het bijvoorbeeld gaan om computertaakjes waarbij
reactietijden worden gemeten, of de meting van het consultatiebureau of een
peuter met vier blokjes een toren kan bouwen. Bij observaties kan gedacht
worden aan video-opnames waarbij aan de hand van een protocol geteld wordt
hoeveel snoepjes iemand eet of hoe vaak deelnemers oogcontact maken.
Waar meetinstrumenten tot doel hebben om datapunten te verzamelen zonder
het betreffende construct te beïnvloeden, is het doel van manipulaties juist wel
om een construct te beïnvloeden. Door het manipuleren van variabelen in
experimenteel onderzoek kan onderzocht worden of er een causaal verband
bestaat tussen twee variabelen, oftewel, of een verandering in de ene variabele
een verandering in de andere variabele veroorzaakt.
Bij een manipulatie worden stimuli aan deelnemers gepresenteerd,
bijvoorbeeld in de vorm van beelden, geluiden, woorden of video’s, om een
bepaalde toestand van of verandering in het construct teweeg te brengen.
Denk specifiek aan instructies aan de deelnemer of de inhoud van een filmpje
waaraan deelnemers worden blootgesteld. Er zijn allerlei manipulaties
mogelijk. Enkele voorbeelden zijn:
deelnemers vertellen dat ze een beloning krijgen als ze goed presteren
deelnemers naar een verdrietig filmpje laten kijken
deelnemers blootstellen aan een rolmodel dat laat zien hoe je kunt
omgaan met sociale druk met betrekking tot alcoholconsumptie
deelnemers een alinea laten schrijven over hun best mogelijke zelf
deelnemers een vernieuwde leesmethode laten toepassen
Wanneer een variabele gemanipuleerd wordt, moet de onderzoeker op een
consistente wijze getallen toekennen aan de verschillende condities van de
gemanipuleerde variabele, bijvoorbeeld een 0 voor deelnemers die de
manipulatie niet ontvingen en een 1 voor deelnemers die de manipulatie wel
ontvingen. Soms zijn er verschillende versies van een manipulatie. Deelnemers
2
,wordt bijvoorbeeld geen, een kleine, of een grote beloning beloofd; of
deelnemers krijgen de oorspronkelijke leesoefening, een leesoefening waarin
wordt aangeraden om levendige voorstellingen van situaties te maken, of
leesoefeningen waarin ze worden begeleid in het inzetten van hun
voorstellingsvermogen. Deelnemers krijgen dan bijvoorbeeld een 1, een 2, of
een 3 toegekend op de variabele in de datafile die de manipulatie registreert.
In een reflectief meetmodel lopen er lijnen van het construct, ook wel de latente
variabele genoemd, naar de indicatoren. De richting van de pijl is hierbij
belangrijk. Een reflectief meetmodel is niet van toepassing op alle variabelen
die binnen de psychologie worden onderzocht. Bijvoorbeeld bij indexvariabelen
zoals sociaaleconomische status, waarbij een aantal relevante zaken zoals
inkomen, postcode etc. bij elkaar worden opgeteld, is een reflectief meetmodel
niet van toepassing.
Meestal worden alleen meetmodellen opgesteld voor meetinstrumenten. Bij
manipulaties worden deelnemers vaak aan slechts één stimulus blootgesteld,
in tegenstelling tot meetinstrumenten die vaak uit meerdere items bestaan.
Het meetmodel van een manipulatie bestaat dan slechts uit één indicator
(want één stimulus). Let erop dat bij het meetmodel van een manipulatie de
pijl in tegengestelde richting loopt, van de indicator (weergegeven in een
vierkant) naar het construct (weergegeven in een ovaal). De stimulus wordt
namelijk aangeboden om het construct te beïnvloeden.
De mate waarin een meting bij herhaling telkens hetzelfde resultaat oplevert
heet de betrouwbaarheid van die meting. Door na te gaan in hoeverre het
meetresultaat afwijkt wanneer je deze bijvoorbeeld een week later herhaalt,
kun je de (on)betrouwbaarheid van de meting bepalen. Hoe meer die tweede
meting afwijkt, hoe minder betrouwbaar het meetinstrument is.
Toevallige invloeden op een testscore noemen we samen de niet-
systematische meetfout (bij het afnemen van een intelligentietest zal iemands
IQ-score de ene keer iets hoger uitvallen door toevallige verstorende invloeden,
bijv. omdat die persoon niet goed heeft geslapen).
Wanneer iemand lijdt aan insomnia en stelselmatig slecht slaapt, is de
verstoring door het slechte slapen geen niet-systematische meetfout, maar een
systematische meetfout, ook wel bias genoemd.
Er zijn grofweg twee benaderingen om de vraag te beantwoorden of een
meetinstrument valide is voor een bepaalde toepassing (in een
bepaalde steekproef van een populatie): de causale opvatting van validiteit en
constructvaliditeit. Binnen de causale opvatting van validiteit is een test valide
om een bepaald construct te meten als (1) het construct bestaat en (2) de
verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden. Bij deze opvatting van validiteit
wordt ervan uitgegaan dat je pas goed kunt nagaan of een meetinstrument
valide is, als je weet hoe een meetinstrument werkt, dus als je weet welke
3
, processen worden aangesproken die uiteindelijk in een bepaalde testscore
resulteren.
Een simpel voorbeeld kan dit verduidelijken. Als je wilt weten of een
thermometer valide is, moet je volgens de causale opvatting begrijpen hoe een
thermometer werkt om aan de eerste voorwaarde te voldoen. Een
kwikthermometer of andere vloeistofthermometer is gebaseerd op het principe
dat de vloeistof in de thermometer uitzet bij hogere temperaturen. Vervolgens
kun je de thermometer testen door deze in een pannetje water te leggen, het
water langzaam op te warmen totdat het water kookt en na te gaan of dit
resulteert in steeds hogere meetwaardes op de thermometer totdat 100
graden wordt bereikt. Hiermee test je de tweede voorwaarde.
Binnen de opvatting van constructvaliditeit wordt voorbijgegaan aan de vraag
of het construct, dat het meetinstrument zou moeten meten, überhaupt
bestaat. Ook wordt niet uitgezocht hoe het meetinstrument werkt, dus de
manier waarop verschillen tussen mensen in het construct zouden leiden tot
verschillende scores op het meetinstrument. In plaats daarvan wordt er
gekeken in hoeverre interpretaties van testscores ondersteund worden door
theorie en empirisch bewijs voor het gebruik van deze test.
Constructvaliditeit:
indruksvaliditeit of face validity: de mate waarin het meetinstrument de
indruk geeft te meten wat het zou moeten meten na bestudering van het
meetinstrument door een leek of iemand uit het vakgebied. Deze
benadering is erg praktisch; de onderzoeker hoeft het meetinstrument
alleen nauwkeurig te bekijken.
criteriumvaliditeit of criterion validity: de mate waarin de uitkomsten van
een meetinstrument als verwacht samenhangen met die op een ander
meetinstrument of uitkomstmaat. Van een intelligentietest wordt
bijvoorbeeld verwacht dat deze samenhangt met schoolcijfers.
externe validiteit: de mate waarin de uitkomsten van een studie
gegeneraliseerd kunnen worden naar de doelpopulatie. Wetenschappelijk
onderzoek wordt vaak uitgevoerd in kunstmatige omstandigheden, zoals
een laboratorium. Externe validiteit gaat in op de vraag in hoeverre de
gevonden patronen ook buiten de onderzochte context gelden.
inhoudsvaliditeit of content validity: de mate waarin de items van het
meetinstrument het gehele construct omvatten. Impulsiviteit wordt
bijvoorbeeld gezien als een multifactorieel construct. Een meetinstrument
met goede inhoudsvaliditeit moet al die verschillende aspecten van
impulsiviteit omvatten. Een meetinstrument dat impulsiviteit beoogt te
meten, maar enkel items bevat over een deelaspect daarvan, bijvoorbeeld
alleen over ‘sensation seeking’, heeft geen goede inhoudsvaliditeit.
4
