Samenvatting Onderzoekspracticum inleiding onderzoek (PB0212)
Thema 1
De werkelijkheid kennen en begrijpen biedt inzicht in de wereld om ons heen, zodat
we deze (hopelijk) kunnen beïnvloeden.
Empirisch cyclusonderzoek
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Doorlopen onderzoek = iteratiefproces
a. Volgen vaak nieuwe onderzoeksvragen
b. Tijdens ontwerpen al analyses uitvoeren
c. Sommige delen kunnen al geschreven worden voor data zijn verzameld of
geanalyseerd
d. Oorspronkelijke onderzoeksvraag moet bijgesteld worden
Publication bias en dubieuze onderzoekspraktijken —> veel psychologische studies
suggereerden effecten die er in werkelijkheid niet zijn.
Dubieuze onderzoekspraktijken
- de dataverzameling, -analyse en -rapportage gebaseerd is op het verkrijgen van
gewenste resultaten in plaats van op het zuiver uitvoeren van onderzoek
- fingeren of falsificeren
* Wanneer een preregistratie van een onderzoek bij een journal wordt ingediend en
geaccepteerd, is het gebruikelijk dat de onderzoeksresultaten ook worden
gepubliceerd, ongeacht of het onderzoek de verwachte effecten laat zien of niet.
Waarom is meten van psychologische variabelen ingewikkeld?
a. Ze zijn niet direct observeerbaar
b. Voor sommige psychologische begrippen is geen algemeen gebruikte
‘eenheid’ om deze variabelen in te meten
Psychologische constructen
è Ze kunnen namelijk andere variabelen die wel direct observeerbaar zijn
voorspellen of beïnvloeden
è Het is wel belangrijk dat er een duidelijke, eenduidige en uitgebreide definitie van
het construct wordt opgesteld.
Construct Operationalisatie Onderzoekseenheid
Naam en definitie van een Vertaling van die definitie Bijvoorbeeld een
variabele in een theorie. naar een meetinstrument deelnemer aan een
of manipulatie. onderzoek, waar de
operationalisatie op wordt
toegepast.
, Vb: Need for cognition is Vb: een vragenlijst zoals Vb: een deelnemer aan
defined as a need to de ‘Need of Cognition de studie die de ‘Need for
structure relevant Scale’, waarbij de vragen Cognition Scale’ invult.
situations in meaningful, de onderdelen van de
integrated ways. It is a definitie van de variabele
need to understand and in kaart brengen.
make reasonable the
experiential world.’
Twee soorten operationalisaties:
1. Meetinstrumenten (vb: Need for Cognition Scale)
àConstructen meten met verschillende items (stimuli), zoals uitspraken, taken
en observaties, die samen het betreffende construct omvatten.
à Doel= variabelen te kwantificeren, zonder te verstoren
2. Manipulaties
à Doel= construct beïnvloeden
à Door het manipuleren van variabelen in (quasi-)experimenteel onderzoek
kan onderzocht worden of er een causaal verband bestaat tussen twee
variabelen, oftewel, of een verandering in de ene variabele een verandering in
de andere variabele veroorzaakt.
à Het is cruciaal dat het enige verschil in deze procedures voor de
verschillende groepen bestaat uit de variabele die onderzocht wordt.
Verschillen meetinstrumenten en manipulaties:
• Manipulaties à 1 stimulus
• Meetmodel van manipulatie bestaat uit 1 indicator, want 1 stimulus
• De pijl loopt bij meetmodel van manipulatie in tegengestelde richting ( van de
indicator naar het construct)
Reflectief meetmodel
è Niet overal van toepassing (vb: indexvariabelen, waarbij een aantal relevante
zaken zoals inkomen en postcode bij elkaar worden opgeteld).
Een meetmodel bevat altijd maar één construct, waarvoor de operationalisatie
uit een of meer onderdelen kan bestaan.
Betrouwbaarheid
De stabiliteit van een meetinstrument over herhaalde metingen.
è Hoe meer de tweede meting afwijkt, hoe minder betrouwbaar het meetinstrument
is.
è Verstorende factoren: tijdstip, context, etc.
è Herhaalde metingen moeten onder gelijkblijvende omstandigheden plaatsvinden
voor een zuivere schatting.
Niet-systematische meetfout
è Complement van betrouwbaarheid: Naarmate de niet-systematische meetfout
kleiner is, – dus wanneer er sprake is van minder toevallige verstorende
invloeden – is een meting betrouwbaarder.
Validiteit
, Benaderingen om te bepalen of een meetinstrument valide is voor een bepaalde
toepassing:
1. Causale opvatting van validiteit
a. Het construct bestaat
b. De verschillen tussen mensen op het construct leiden tot verschillende
uitkomsten op het meetinstrument
2. Constructvaliditeit: In hoeverre interpretaties van testscores ondersteund
worden door theorie en empirisch bewijs voor het gebruik van deze test.
a. samenhang van items en schalen onderling
b. samenhang met andere variabelen en uitkomsten
+ validiteit is relatief gemakkelijk te onderzoeken
- Deze samenhang met andere testscores of uitkomstmaten geen inzicht biedt
in of het meetinstrument daadwerkelijk het construct meet dat het zou moeten
meten, of dat het iets anders meet dat toevallig samenhangt met de andere
vragenlijsten of uitkomstmaten die zijn onderzocht. (vb: oude en nieuw
vragenlijst, waarbij de oude van onvoldoende kwaliteit was)
3. Indruksvaliditeit (face validity)
4. Criteriumvaliditeit (criterion validity)
5. Externe validiteit
6. Inhoudsvaliditeit (content validity)
Tegenwoordig is de opvatting dat het niet zinvol is om allerlei soorten validiteit
te onderscheiden en dat validiteit beter gezien kan worden als een unitair
construct (APA Task Force on Psychological Assessment and Evaluation
Guidelines, 2020).
Relatie tussen betrouwbaarheid en validiteit
Kwantitatief onderzoek: Relaties Kwalitatief onderzoek: Perspectief van
tussen variabelen deelnemers interpreteren en begrijpen
Ideeën bevestigen of ontkrachten Kan ideeën geven over hoe de wereld in
elkaar zou zitten.
Aselecte steekproeven Selecte steekproeven
Dataverzameling gestandaardiseerd Individuele zienswijze centraal
Het vereist operationalisatie van hoge Rijke en complexe onderzoeksdata
kwaliteit (–)
Beperkte geldingskracht en reikwijdte (–
)
Thema 1
De werkelijkheid kennen en begrijpen biedt inzicht in de wereld om ons heen, zodat
we deze (hopelijk) kunnen beïnvloeden.
Empirisch cyclusonderzoek
1. Onderzoeksvraag formuleren
2. Studie ontwerpen
3. Data verzamelen
4. Data analyseren
5. Rapporteren
Doorlopen onderzoek = iteratiefproces
a. Volgen vaak nieuwe onderzoeksvragen
b. Tijdens ontwerpen al analyses uitvoeren
c. Sommige delen kunnen al geschreven worden voor data zijn verzameld of
geanalyseerd
d. Oorspronkelijke onderzoeksvraag moet bijgesteld worden
Publication bias en dubieuze onderzoekspraktijken —> veel psychologische studies
suggereerden effecten die er in werkelijkheid niet zijn.
Dubieuze onderzoekspraktijken
- de dataverzameling, -analyse en -rapportage gebaseerd is op het verkrijgen van
gewenste resultaten in plaats van op het zuiver uitvoeren van onderzoek
- fingeren of falsificeren
* Wanneer een preregistratie van een onderzoek bij een journal wordt ingediend en
geaccepteerd, is het gebruikelijk dat de onderzoeksresultaten ook worden
gepubliceerd, ongeacht of het onderzoek de verwachte effecten laat zien of niet.
Waarom is meten van psychologische variabelen ingewikkeld?
a. Ze zijn niet direct observeerbaar
b. Voor sommige psychologische begrippen is geen algemeen gebruikte
‘eenheid’ om deze variabelen in te meten
Psychologische constructen
è Ze kunnen namelijk andere variabelen die wel direct observeerbaar zijn
voorspellen of beïnvloeden
è Het is wel belangrijk dat er een duidelijke, eenduidige en uitgebreide definitie van
het construct wordt opgesteld.
Construct Operationalisatie Onderzoekseenheid
Naam en definitie van een Vertaling van die definitie Bijvoorbeeld een
variabele in een theorie. naar een meetinstrument deelnemer aan een
of manipulatie. onderzoek, waar de
operationalisatie op wordt
toegepast.
, Vb: Need for cognition is Vb: een vragenlijst zoals Vb: een deelnemer aan
defined as a need to de ‘Need of Cognition de studie die de ‘Need for
structure relevant Scale’, waarbij de vragen Cognition Scale’ invult.
situations in meaningful, de onderdelen van de
integrated ways. It is a definitie van de variabele
need to understand and in kaart brengen.
make reasonable the
experiential world.’
Twee soorten operationalisaties:
1. Meetinstrumenten (vb: Need for Cognition Scale)
àConstructen meten met verschillende items (stimuli), zoals uitspraken, taken
en observaties, die samen het betreffende construct omvatten.
à Doel= variabelen te kwantificeren, zonder te verstoren
2. Manipulaties
à Doel= construct beïnvloeden
à Door het manipuleren van variabelen in (quasi-)experimenteel onderzoek
kan onderzocht worden of er een causaal verband bestaat tussen twee
variabelen, oftewel, of een verandering in de ene variabele een verandering in
de andere variabele veroorzaakt.
à Het is cruciaal dat het enige verschil in deze procedures voor de
verschillende groepen bestaat uit de variabele die onderzocht wordt.
Verschillen meetinstrumenten en manipulaties:
• Manipulaties à 1 stimulus
• Meetmodel van manipulatie bestaat uit 1 indicator, want 1 stimulus
• De pijl loopt bij meetmodel van manipulatie in tegengestelde richting ( van de
indicator naar het construct)
Reflectief meetmodel
è Niet overal van toepassing (vb: indexvariabelen, waarbij een aantal relevante
zaken zoals inkomen en postcode bij elkaar worden opgeteld).
Een meetmodel bevat altijd maar één construct, waarvoor de operationalisatie
uit een of meer onderdelen kan bestaan.
Betrouwbaarheid
De stabiliteit van een meetinstrument over herhaalde metingen.
è Hoe meer de tweede meting afwijkt, hoe minder betrouwbaar het meetinstrument
is.
è Verstorende factoren: tijdstip, context, etc.
è Herhaalde metingen moeten onder gelijkblijvende omstandigheden plaatsvinden
voor een zuivere schatting.
Niet-systematische meetfout
è Complement van betrouwbaarheid: Naarmate de niet-systematische meetfout
kleiner is, – dus wanneer er sprake is van minder toevallige verstorende
invloeden – is een meting betrouwbaarder.
Validiteit
, Benaderingen om te bepalen of een meetinstrument valide is voor een bepaalde
toepassing:
1. Causale opvatting van validiteit
a. Het construct bestaat
b. De verschillen tussen mensen op het construct leiden tot verschillende
uitkomsten op het meetinstrument
2. Constructvaliditeit: In hoeverre interpretaties van testscores ondersteund
worden door theorie en empirisch bewijs voor het gebruik van deze test.
a. samenhang van items en schalen onderling
b. samenhang met andere variabelen en uitkomsten
+ validiteit is relatief gemakkelijk te onderzoeken
- Deze samenhang met andere testscores of uitkomstmaten geen inzicht biedt
in of het meetinstrument daadwerkelijk het construct meet dat het zou moeten
meten, of dat het iets anders meet dat toevallig samenhangt met de andere
vragenlijsten of uitkomstmaten die zijn onderzocht. (vb: oude en nieuw
vragenlijst, waarbij de oude van onvoldoende kwaliteit was)
3. Indruksvaliditeit (face validity)
4. Criteriumvaliditeit (criterion validity)
5. Externe validiteit
6. Inhoudsvaliditeit (content validity)
Tegenwoordig is de opvatting dat het niet zinvol is om allerlei soorten validiteit
te onderscheiden en dat validiteit beter gezien kan worden als een unitair
construct (APA Task Force on Psychological Assessment and Evaluation
Guidelines, 2020).
Relatie tussen betrouwbaarheid en validiteit
Kwantitatief onderzoek: Relaties Kwalitatief onderzoek: Perspectief van
tussen variabelen deelnemers interpreteren en begrijpen
Ideeën bevestigen of ontkrachten Kan ideeën geven over hoe de wereld in
elkaar zou zitten.
Aselecte steekproeven Selecte steekproeven
Dataverzameling gestandaardiseerd Individuele zienswijze centraal
Het vereist operationalisatie van hoge Rijke en complexe onderzoeksdata
kwaliteit (–)
Beperkte geldingskracht en reikwijdte (–
)
