Samenvatting onderzoekspracticum inleiding onderzoek
PB0212-232444B Open Universiteit 2024/2025
Het Open Methodologie en Statistiek boek + gehele digitale
werkboek
Inclusief bijbehorende lesstof per paragraaf + leerdoelen
Inclusief beknopte samenvatting (handig voor voorbereiden tentamen & als je de
stof globaal begrijpt)
Behaalde cijfer met deze samenvatting: 9.2 (goed oefenen en stof goed begrijpen)
,Tentamenstof/inhoud samenvatting:
Hoofdstuk 05 - Populaties en Steekproeven
Hoofdstuk 11 - Data (tot en met 11.5 Datasets)
Hoofdstuk 12 - Beschrijvingsmaten (gehele hoofdstuk)
Hoofdstuk 13 - Verdelingsvormen en -maten (gehele hoofdstuk)
Hoofdstuk 14 - Steekproevenverdelingen en betrouwbhaarheidsintervallen (gehele
hoofdstuk)
Hoofdstuk 15 - Samenhang in data (gehele hoofdstuk)
Hoofdstuk 16 - Nulhypothese-significantietoetsing (tot en met 16.6 Multiple testing)
Hoofdstuk 21 - Correlaties (tot en met 21.8 De proportie verklaarde variantie)
Hoofdstuk 22 - Regressie (tot en met 22.16 Aannames van regressie-analyse)
Hoofdstuk 23 - T-toetsen en Cohen’s d (gehele hoofdstuk)
Hoofdstuk 24 - Variantieanalyse (gehele hoofdstuk behalve paragraaf 24.5.1
Contrasten: paarsgewijze vergelijkingen van te voren bedenken)
Hoofdstuk 31 - Power voor correlaties (gehele hoofdstuk)
Hoofdstuk 32 - Power voor t-toetsen (gehele hoofdstuk)
Hoofdstuk 33 - Power voor variantieanalyse (gehele hoofdstuk)
Hoofdstuk 37 - Wetenschappelijke integriteit (gehele hoofdstuk)
Let op! Deze hoofdstukindeling is niet per se de ideale volgorde om de stof door te
nemen. Volg hiervoor de instructies in de thema’s en studietaken in de leeromgeving.
(deze stof verandert af en toe).
, Samenvatting thema 1 basisconcepten
1.1 Wetenschappelijk onderzoek
Leerdoelen:
Na het bestuderen van deze studietaak kun je
beschrijven waarom wetenschap wordt beoefend
beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze
bestaat
beschrijven wat dubieuze onderzoekspraktijken zijn.
Wetenschap
à Vormt de zoektocht naar kennis, waarbij die kennis via een systematische methode
wordt verkregen.
à De wetenschappelijke methode vormt een systematische methode om te leren over de
werkelijkheid.
- Beperking van menselijke geest in het verwerken van informatie; systematische
methoden nodig.
- Belang van wetenschap
Wetenschap biedt inzicht en invloed op de wereld.
Wetenschappelijke onderzoeken leiden tot praktische adviezen, zoals:
o Voedingsadviezen en richtlijnen voor beweging.
o Diagnostische standaarden (bijvoorbeeld NHG).
o Richtlijnen voor zendmasten.
Wetenschappelijke kennis (systematisch verkregen) voorkomt afhankelijkheid van
anekdotische of subjectieve ervaringen.
- Toepassing van wetenschappelijk onderzoek
Evaluatie van interventies zoals:
o Nieuwe kankerbestrijdingsmethoden.
o Effecten van waarschuwingsplaatjes op sigaretten.
o Nieuwe lesmethoden in het onderwijs.
Empirische onderzoekscyclus
à Vrijwel al het onderzoek te beschouwen als empirisch onderzoek
à Vijf fasen van de cyclus:
1. Onderzoeksvraag formuleren.
2. Studie ontwerpen.
3. Data verzamelen.
4. Data analyseren.
5. Rapporteren.
à Iteratief proces:
o Rapportage leidt vaak tot nieuwe onderzoeksvragen.
o Analyses (zoals poweranalyses) tijdens ontwerpfase.
o Fasen overlappen soms, maar dataverzameling vereist altijd een vooraf
vastgesteld ontwerp en onderzoeksvraag.
à Praktische kant van de onderzoekscyclus:
Vooraf schrijven van rapportagedelen mogelijk.
Soms noodzaak om oorspronkelijke onderzoeksvraag bij te stellen tijdens
studieontwerp.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
à Wetenschappers communiceren via wetenschappelijke artikelen in journals
(tijdschriften).
,à Peer review-proces: artikelen worden beoordeeld door andere wetenschappers voor
publicatie.
à Engelstaligheid van wetenschappelijke artikelen, vanwege het internationale karakter
van wetenschap.
- Opkomst van Open Access-tijdschriften:
Open Access-tijdschriften (zoals PLOS ONE en Journal of Open Psychology Data)
zijn gratis toegankelijk voor iedereen.
Open Access bevordert transparantie en toegankelijkheid van wetenschappelijk
onderzoek voor een breed publiek.
Hernieuwde aandacht voor goed onderzoek
- Achtergrond en problemen in wetenschappelijk onderzoek:
Diederik Stapel-affaire (2011): grootschalige datafraude onthuld.
Replicatiecrisis in de psychologie: veel studies kunnen niet worden gerepliceerd.
à Publication bias (file-drawer-probleem): voorkeur voor het publiceren van studies
die effecten laten zien. (door journals)
àDubieuze onderzoekspraktijken (QRPs): focus op gewenste resultaten in plaats
van objectief onderzoek.
o Gaat meestal om kleinere zaken
o Hierdoor deel van onderzoek niet goed repliceerbaar
à Door beinvloeding van de methode, analyse en rapportage van het
onderzoek.
o Voorbeelden:
o Selectief rapporteren van variabelen of condities die het gewenste
effect tonen.
o Flexibiliteit bij data-analyse (bijv. aanpassen van variabelen of
scores).
o Hypotheses achteraf aanpassen of selectief presenteren.
o Aanpassen van dataverzameling (bijv. extra data verzamelen of
eerder stoppen op basis van voorlopige resultaten).
- Problemen met flexibele onderzoekscyclus:
Flexibiliteit in onderzoeksvragen, opzet en data-analyse verstoort de objectiviteit.
Iteratief karakter van de onderzoekscyclus vereist duidelijke vastlegging vooraf.
- Oplossingen en verbeteringen:
Preregistratie: vooraf vastleggen van onderzoeksvragen, onderzoeksopzet en
methode van dataverzameling en -analyse om publication bias te minimaliseren.
à Onderzoeksresultaten worden gepubliceerd, ongeacht of effecten worden
gevonden.
Full disclosure: volledige transparantie in het onderzoeksproces, inclusief data en
metadata.
o Digitale tijdschriften maken uitgebreide documentatie mogelijk.
- Replicatieonderzoek en gevolgen:
Open Science Collaboration (2015): 270 onderzoekers herhaalden 98
psychologische studies.
o Slechts 50% van de replicaties vond effecten in dezelfde richting als
originele studies.
o Gevonden effecten waren gemiddeld de helft van het oorspronkelijke
effect.
Resultaten benadrukten het belang van betere onderzoekspraktijken.
- Impact op psychologie en onderwijswetenschappen:
Stapel-affaire en replicatiecrisis hebben geleid tot meer nadruk op:
o Preregistratie.
, o Full disclosure.
Recente ontwikkelingen leggen basis voor goed wetenschappelijk onderzoek in
gedragswetenschappen.
, 1.2 operationalisaties
Leerdoelen:
Na het bestuderen van deze studietaak kun je:
beschrijven wat variabelen zijn en welke functies ze kunnen hebben
beschrijven wat constructen zijn
beschrijven wat het verschil is tussen variabelen en constructen
beschrijven wat operationalisaties zijn
beschrijven wat meetinstrumenten zijn
beschrijven wat manipulaties zijn
beschrijven wat datapunten en -reeksen zijn
uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties
zich tot elkaar verhouden
uitleggen wat een meetmodel is en hoe deze eruit ziet.
Variabelen
à Een variabele is iets dat varieert of zou kunnen variëren.
- Voorbeelden: aantal gegeten cacaobonen, intelligentie, extraversie.
- Onderzoekers meten alleen variabelen die relevant zijn voor hun vraag.
à Psychologische variabelen
Moeilijker te meten omdat ze niet direct observeerbaar zijn.
Geen eenduidige definities of standaard eenheden (behalve bijv. IQ).
à Psychologische constructen
Gebaseerd op theorie (bv: extraversie of depressie).
Niet fysiek "bestaand," maar bruikbaar om gedrag te voorspellen.
Niet direct observeerbaar.
Ze zijn bruikbaar omdat ze direct observeerbare variabelen kunnen voorspellen of
beïnvloeden (bijvoorbeeld cijfers, herstel na een operatie, prestaties).
Vereisen duidelijke, eenduidige en uitgebreide definities van het construct.
o Mensen kunnen constructen vaak niet goed inschatten door beperkte
introspectie of onwetendheid over de exacte definities.
Operationalisaties
à Worden gebruikt om psychologische constructen meetbaar te maken.
o Ze maken het construct concreet en tastbaar.
- Vertalen de definitie van een theoretisch construct naar een meetinstrument of
manipulatie.
- Voorbeeld: need for cognition (neiging tot nadenken) (voorbeeld van een
meetinstrument).
Meetinstrument
à Doel:
Variabelen (zoals extraversie of nadenken) kwantificeren zonder deze te
beïnvloeden.
Resultaat is een datareeks van getallen die de variabele representeren.
- Voorbeeld: Need for Cognition Scale.
- Meetinstrumenten bestaan vaak uit meerdere stimuli en de reacties van deelnemers
(bijv. vragenlijst, reactietijdentaak).
- Items (stimuli) in meetinstrumenten:
Uitspraken, vragen, taken of observaties.
Reacties op items worden scores die gemiddeld of opgeteld worden tot een
totaalscore.
, Voorbeelden:
o Uitspraken: "Ik hou van feestjes."
o Vragen: "Hoe belangrijk is geld voor u?"
o Taken: computertaakjes, metingen bij kinderen.
o Observaties: gedragscodering via video-opnames.
- Meetwaarden:
Mogelijke waarden die een operationalisatie kan opleveren.
Bijvoorbeeld: bij een 7-puntschaal zijn de meetwaarden 1 t/m 7.
- Variabelen en datareeksen:
Doel is variabelen kwantificeren zonder verstoring.
Reeks datapunten afkomstig van een meetinstrument heet een variabele.
Verwarring:
o Term ‘variabele’ wordt gebruikt voor:
Theoretische variabele (bijv. leervaardigheid).
Reeks datapunten die deze theoretische variabele representeert.
o Term ‘construct’ verwijst alleen naar theoretische variabelen.
- Gebruik van termen in context:
In wetenschappelijk jargon wordt ‘variabele’ vaak voor theoretische variabelen
gebruikt.
In deze cursus betekent ‘variabele’ meestal theoretische variabele.
Context maakt duidelijk of het gaat om een theoretische variabele of een
datareeks.
Manipulaties
à Doel: (specifiek) construct beïnvloeden (of soms een combinatie van constructen) om
causale verbanden te onderzoeken.
à Werking: Presenteren van stimuli (beelden, video's, opdrachten) om gedrag of toestand
te veranderen.
- Voorbeelden:
Beloning beloven bij goed presteren.
Verdrietig filmpje tonen.
Rolmodel tonen voor gedragsbeïnvloeding.
Schrijfopdracht over “best mogelijke zelf.”
Toepassen vernieuwde leesmethode.
- Toekenning: Consistente waarde toekenning aan condities (bijv. 0
= geen manipulatie, 1 = wel manipulatie).
- Data: Manipulaties genereren datapunten; validiteit en
betrouwbaarheid van stimuli zijn essentieel.
à Inhoud van stimuli van meetinstrumenten of manipulaties moeten
kloppen.
Meetmodel
à Visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd.
à De variabelen of constructen worden weergegeven in ovalen.
- Indicatoren: de stimuli of items die het construct
operationaliseren.
Bv: de vragen op een vragenlijst.
Worden in rechthoeken weergegeven.
- Reflectief meetmodel:
, In een reflectief meetmodel lopen er pijlen van het construct (latente variabele)
naar de indicatoren (bijv. vragenlijstitems).
De richting van de pijlen is belangrijk: het construct bepaalt hoe op de indicatoren
wordt gescoord.
Voorbeeld: Mensen met hoge neiging tot nadenken beantwoorden vragen anders
dan mensen met lage neiging.
Een reflectief meetmodel is niet altijd van toepassing (bijv. bij indexvariabelen
zoals sociaaleconomische status).
- Voorbeeld meetmodel:
Een meetmodel kan meerdere operationalisaties bevatten voor een construct (bijv.
depressie gemeten met een zelfrapportage en diagnostisch interview).
- Meetmodel manipulaties:
Bij manipulaties wordt vaak maar één stimulus gebruikt, dus het meetmodel heeft
één indicator (stimulus).
De pijl in een manipulatie-meetmodel loopt van de indicator naar het construct,
omdat de stimulus het construct beïnvloedt.
In de praktijk wordt het ovaal vaak weggelaten bij manipulaties, en staat de
variabele naam in de rechthoek. voorbeeld van het meetmodel van
de operationalisatie van de Big Five
d.m.v. de Ten Item Personality
Inventory
, 1.3 Betrouwbaarheid en validiteit
Leerdoelen:
Na het bestuderen van deze studietaak kun je
beschrijven wat betrouwbaarheid is
beschrijven wat validiteit is
uitleggen hoe verschillende opvattingen van validiteit zich tot elkaar verhouden
uitleggen hoe validiteit zich verhoudt tot betrouwbaarheid
beschrijven wat een (niet-) systematische meetfout is
uitleggen hoe een (niet-) systematische meetfout zich verhoudt tot
betrouwbaarheid en validiteit
beschrijven wat het verschil is tussen kwantitatief en kwalitatief onderzoek.
Operationalisaties
à Moeten betrouwbaar en valide zijn om representatief te zijn voor de variabelen die
ermee gemeten of gemanipuleerd worden.
à Ze vertalen theoretische constructen naar meetinstrumenten of manipulaties.
à Een ideale operationalisatie zorgt ervoor dat datareeksen nauwkeurig aangeven hoe
mensen scoren op het construct.
àPerfecte metingen bestaan niet; onzuiverheid wordt uitgedrukt in betrouwbaarheid en
validiteit.
Betrouwbaarheid
à De mate waarin een meting bij herhaling hetzelfde resultaat oplevert.
à De kern: stabiliteit over herhaalde metingen.
àHerhaalde metingen moeten idealiter onder gelijkblijvende omstandigheden
plaatsvinden.
- Praktische voorbeelden
Lengtemetingen met verschillende meetinstrumenten:
o 30-centimeterliniaal: minder betrouwbaar (verschillen van centimeters).
o Rolmaat: beter betrouwbaar (verschillen van millimeters).
o Schuif tegen de muur: zeer betrouwbaar (nauwkeurigheid op
millimeterniveau).
Intelligentie: Betrouwbaarheid hangt af van het type test en verstorende invloeden
zoals tijdstip of context.
- invloed van verstorende factoren:
Toevallige factoren beïnvloeden de uitkomst van psychologische tests, zoals:
o Tijdstip van testen (bijvoorbeeld ochtend vs. avond).
o Omgevingscontext (bijvoorbeeld rustige kamer vs. druk plein).
Psychologische variabelen zijn vaak gevoelig voor fluctuaties en externe
invloeden.
- Complexiteit bij psychologische metingen:
Psychologische metingen vereisen stabiliteit in wat gemeten wordt (zoals
intelligentie of stemming).
Kort tijdsinterval tussen herhaalde tests: mogelijk beïnvloed door herinnering of
oefening.
Lang tijdsinterval: risico op natuurlijke veranderingen (bijvoorbeeld cognitieve
veroudering).
- Fluctuerende variabelen: Veranderingen in stemming tonen gevoeligheid van
meetinstrument, niet lage betrouwbaarheid.
, Meetfout
à Meetresultaten worden beïnvloed door zowel het te meten construct als verstorende
invloeden.
à Niet-systematische meetfout (ruis/random measurement error):
Toevallige invloeden zoals stress, weeromstandigheden, of recente
gebeurtenissen.
Minder ruis à betrouwbaardere meting.
Niet-systematische meetfouten middelen zich uit bij herhaald meten, wat leidt tot
de ‘ware’ score.
à Systematische meetfout (bias):
Geen toevallige verstoring, maar een structurele invloed, zoals chronisch slecht
slapen.
Leidt tot systematische vertekening van de meting.
- Totale testscore: Bestaat uit de ‘ware’ score plus meetfout door toevallige en/of
systematische verstoringen.
Validiteit
à De mate waarin een meetinstrument meet wat het moet meten.
- Een volledig betrouwbaar instrument kan alsnog niet valide zijn als het geen verschillen
in het construct (bijv. intelligentie) meet.
- 2 benaderingen of een meetinstrument valide is voor een bepaalde toepassing (in een
bepaalde steekproef van een populatie):
1. De causale opvatting van validiteit
2. Constructvaliditeit
1. Causale opvatting van validiteit
Meetinstrument is valide als:
1. Het construct bestaat.
2. De verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden.
Vereist inzicht in hoe het meetinstrument werkt en welke processen een rol
spelen.
2. Constructvaliditeit
à Onderzoekt of interpretaties van scores worden ondersteund door theorie en empirisch
bewijs.
Empirisch bewijs:
o Samenhang tussen items en schalen binnen een meetinstrument.
o Relaties met andere gerelateerde of niet-gerelateerde meetinstrumenten of
uitkomsten.
Voordeel: eenvoudig te onderzoeken zonder volledig begrip van hoe het
meetinstrument werkt.
Nadeel: biedt geen garantie dat het instrument daadwerkelijk het bedoelde
construct meet.
à Om echt te weten of een meetinstrument het construct van interesse meet, is
toch de causale opvatting van validiteit nodig, waarbij wordt uitgezocht hoe een
meetinstrument werkt.
- Andere soorten validiteit:
Indruksvaliditeit (face validity): de mate waarin het meetinstrument de indruk
geeft te meten wat het zou moeten meten na bestudering van het
meetinstrument door een leek of iemand uit het vakgebied.
PB0212-232444B Open Universiteit 2024/2025
Het Open Methodologie en Statistiek boek + gehele digitale
werkboek
Inclusief bijbehorende lesstof per paragraaf + leerdoelen
Inclusief beknopte samenvatting (handig voor voorbereiden tentamen & als je de
stof globaal begrijpt)
Behaalde cijfer met deze samenvatting: 9.2 (goed oefenen en stof goed begrijpen)
,Tentamenstof/inhoud samenvatting:
Hoofdstuk 05 - Populaties en Steekproeven
Hoofdstuk 11 - Data (tot en met 11.5 Datasets)
Hoofdstuk 12 - Beschrijvingsmaten (gehele hoofdstuk)
Hoofdstuk 13 - Verdelingsvormen en -maten (gehele hoofdstuk)
Hoofdstuk 14 - Steekproevenverdelingen en betrouwbhaarheidsintervallen (gehele
hoofdstuk)
Hoofdstuk 15 - Samenhang in data (gehele hoofdstuk)
Hoofdstuk 16 - Nulhypothese-significantietoetsing (tot en met 16.6 Multiple testing)
Hoofdstuk 21 - Correlaties (tot en met 21.8 De proportie verklaarde variantie)
Hoofdstuk 22 - Regressie (tot en met 22.16 Aannames van regressie-analyse)
Hoofdstuk 23 - T-toetsen en Cohen’s d (gehele hoofdstuk)
Hoofdstuk 24 - Variantieanalyse (gehele hoofdstuk behalve paragraaf 24.5.1
Contrasten: paarsgewijze vergelijkingen van te voren bedenken)
Hoofdstuk 31 - Power voor correlaties (gehele hoofdstuk)
Hoofdstuk 32 - Power voor t-toetsen (gehele hoofdstuk)
Hoofdstuk 33 - Power voor variantieanalyse (gehele hoofdstuk)
Hoofdstuk 37 - Wetenschappelijke integriteit (gehele hoofdstuk)
Let op! Deze hoofdstukindeling is niet per se de ideale volgorde om de stof door te
nemen. Volg hiervoor de instructies in de thema’s en studietaken in de leeromgeving.
(deze stof verandert af en toe).
, Samenvatting thema 1 basisconcepten
1.1 Wetenschappelijk onderzoek
Leerdoelen:
Na het bestuderen van deze studietaak kun je
beschrijven waarom wetenschap wordt beoefend
beschrijven wat de empirische onderzoekscyclus is en uit welke fasen deze
bestaat
beschrijven wat dubieuze onderzoekspraktijken zijn.
Wetenschap
à Vormt de zoektocht naar kennis, waarbij die kennis via een systematische methode
wordt verkregen.
à De wetenschappelijke methode vormt een systematische methode om te leren over de
werkelijkheid.
- Beperking van menselijke geest in het verwerken van informatie; systematische
methoden nodig.
- Belang van wetenschap
Wetenschap biedt inzicht en invloed op de wereld.
Wetenschappelijke onderzoeken leiden tot praktische adviezen, zoals:
o Voedingsadviezen en richtlijnen voor beweging.
o Diagnostische standaarden (bijvoorbeeld NHG).
o Richtlijnen voor zendmasten.
Wetenschappelijke kennis (systematisch verkregen) voorkomt afhankelijkheid van
anekdotische of subjectieve ervaringen.
- Toepassing van wetenschappelijk onderzoek
Evaluatie van interventies zoals:
o Nieuwe kankerbestrijdingsmethoden.
o Effecten van waarschuwingsplaatjes op sigaretten.
o Nieuwe lesmethoden in het onderwijs.
Empirische onderzoekscyclus
à Vrijwel al het onderzoek te beschouwen als empirisch onderzoek
à Vijf fasen van de cyclus:
1. Onderzoeksvraag formuleren.
2. Studie ontwerpen.
3. Data verzamelen.
4. Data analyseren.
5. Rapporteren.
à Iteratief proces:
o Rapportage leidt vaak tot nieuwe onderzoeksvragen.
o Analyses (zoals poweranalyses) tijdens ontwerpfase.
o Fasen overlappen soms, maar dataverzameling vereist altijd een vooraf
vastgesteld ontwerp en onderzoeksvraag.
à Praktische kant van de onderzoekscyclus:
Vooraf schrijven van rapportagedelen mogelijk.
Soms noodzaak om oorspronkelijke onderzoeksvraag bij te stellen tijdens
studieontwerp.
Verspreiding van uitkomsten van wetenschappelijk onderzoek
à Wetenschappers communiceren via wetenschappelijke artikelen in journals
(tijdschriften).
,à Peer review-proces: artikelen worden beoordeeld door andere wetenschappers voor
publicatie.
à Engelstaligheid van wetenschappelijke artikelen, vanwege het internationale karakter
van wetenschap.
- Opkomst van Open Access-tijdschriften:
Open Access-tijdschriften (zoals PLOS ONE en Journal of Open Psychology Data)
zijn gratis toegankelijk voor iedereen.
Open Access bevordert transparantie en toegankelijkheid van wetenschappelijk
onderzoek voor een breed publiek.
Hernieuwde aandacht voor goed onderzoek
- Achtergrond en problemen in wetenschappelijk onderzoek:
Diederik Stapel-affaire (2011): grootschalige datafraude onthuld.
Replicatiecrisis in de psychologie: veel studies kunnen niet worden gerepliceerd.
à Publication bias (file-drawer-probleem): voorkeur voor het publiceren van studies
die effecten laten zien. (door journals)
àDubieuze onderzoekspraktijken (QRPs): focus op gewenste resultaten in plaats
van objectief onderzoek.
o Gaat meestal om kleinere zaken
o Hierdoor deel van onderzoek niet goed repliceerbaar
à Door beinvloeding van de methode, analyse en rapportage van het
onderzoek.
o Voorbeelden:
o Selectief rapporteren van variabelen of condities die het gewenste
effect tonen.
o Flexibiliteit bij data-analyse (bijv. aanpassen van variabelen of
scores).
o Hypotheses achteraf aanpassen of selectief presenteren.
o Aanpassen van dataverzameling (bijv. extra data verzamelen of
eerder stoppen op basis van voorlopige resultaten).
- Problemen met flexibele onderzoekscyclus:
Flexibiliteit in onderzoeksvragen, opzet en data-analyse verstoort de objectiviteit.
Iteratief karakter van de onderzoekscyclus vereist duidelijke vastlegging vooraf.
- Oplossingen en verbeteringen:
Preregistratie: vooraf vastleggen van onderzoeksvragen, onderzoeksopzet en
methode van dataverzameling en -analyse om publication bias te minimaliseren.
à Onderzoeksresultaten worden gepubliceerd, ongeacht of effecten worden
gevonden.
Full disclosure: volledige transparantie in het onderzoeksproces, inclusief data en
metadata.
o Digitale tijdschriften maken uitgebreide documentatie mogelijk.
- Replicatieonderzoek en gevolgen:
Open Science Collaboration (2015): 270 onderzoekers herhaalden 98
psychologische studies.
o Slechts 50% van de replicaties vond effecten in dezelfde richting als
originele studies.
o Gevonden effecten waren gemiddeld de helft van het oorspronkelijke
effect.
Resultaten benadrukten het belang van betere onderzoekspraktijken.
- Impact op psychologie en onderwijswetenschappen:
Stapel-affaire en replicatiecrisis hebben geleid tot meer nadruk op:
o Preregistratie.
, o Full disclosure.
Recente ontwikkelingen leggen basis voor goed wetenschappelijk onderzoek in
gedragswetenschappen.
, 1.2 operationalisaties
Leerdoelen:
Na het bestuderen van deze studietaak kun je:
beschrijven wat variabelen zijn en welke functies ze kunnen hebben
beschrijven wat constructen zijn
beschrijven wat het verschil is tussen variabelen en constructen
beschrijven wat operationalisaties zijn
beschrijven wat meetinstrumenten zijn
beschrijven wat manipulaties zijn
beschrijven wat datapunten en -reeksen zijn
uitleggen hoe variabelen, operationalisaties, meetinstrumenten en manipulaties
zich tot elkaar verhouden
uitleggen wat een meetmodel is en hoe deze eruit ziet.
Variabelen
à Een variabele is iets dat varieert of zou kunnen variëren.
- Voorbeelden: aantal gegeten cacaobonen, intelligentie, extraversie.
- Onderzoekers meten alleen variabelen die relevant zijn voor hun vraag.
à Psychologische variabelen
Moeilijker te meten omdat ze niet direct observeerbaar zijn.
Geen eenduidige definities of standaard eenheden (behalve bijv. IQ).
à Psychologische constructen
Gebaseerd op theorie (bv: extraversie of depressie).
Niet fysiek "bestaand," maar bruikbaar om gedrag te voorspellen.
Niet direct observeerbaar.
Ze zijn bruikbaar omdat ze direct observeerbare variabelen kunnen voorspellen of
beïnvloeden (bijvoorbeeld cijfers, herstel na een operatie, prestaties).
Vereisen duidelijke, eenduidige en uitgebreide definities van het construct.
o Mensen kunnen constructen vaak niet goed inschatten door beperkte
introspectie of onwetendheid over de exacte definities.
Operationalisaties
à Worden gebruikt om psychologische constructen meetbaar te maken.
o Ze maken het construct concreet en tastbaar.
- Vertalen de definitie van een theoretisch construct naar een meetinstrument of
manipulatie.
- Voorbeeld: need for cognition (neiging tot nadenken) (voorbeeld van een
meetinstrument).
Meetinstrument
à Doel:
Variabelen (zoals extraversie of nadenken) kwantificeren zonder deze te
beïnvloeden.
Resultaat is een datareeks van getallen die de variabele representeren.
- Voorbeeld: Need for Cognition Scale.
- Meetinstrumenten bestaan vaak uit meerdere stimuli en de reacties van deelnemers
(bijv. vragenlijst, reactietijdentaak).
- Items (stimuli) in meetinstrumenten:
Uitspraken, vragen, taken of observaties.
Reacties op items worden scores die gemiddeld of opgeteld worden tot een
totaalscore.
, Voorbeelden:
o Uitspraken: "Ik hou van feestjes."
o Vragen: "Hoe belangrijk is geld voor u?"
o Taken: computertaakjes, metingen bij kinderen.
o Observaties: gedragscodering via video-opnames.
- Meetwaarden:
Mogelijke waarden die een operationalisatie kan opleveren.
Bijvoorbeeld: bij een 7-puntschaal zijn de meetwaarden 1 t/m 7.
- Variabelen en datareeksen:
Doel is variabelen kwantificeren zonder verstoring.
Reeks datapunten afkomstig van een meetinstrument heet een variabele.
Verwarring:
o Term ‘variabele’ wordt gebruikt voor:
Theoretische variabele (bijv. leervaardigheid).
Reeks datapunten die deze theoretische variabele representeert.
o Term ‘construct’ verwijst alleen naar theoretische variabelen.
- Gebruik van termen in context:
In wetenschappelijk jargon wordt ‘variabele’ vaak voor theoretische variabelen
gebruikt.
In deze cursus betekent ‘variabele’ meestal theoretische variabele.
Context maakt duidelijk of het gaat om een theoretische variabele of een
datareeks.
Manipulaties
à Doel: (specifiek) construct beïnvloeden (of soms een combinatie van constructen) om
causale verbanden te onderzoeken.
à Werking: Presenteren van stimuli (beelden, video's, opdrachten) om gedrag of toestand
te veranderen.
- Voorbeelden:
Beloning beloven bij goed presteren.
Verdrietig filmpje tonen.
Rolmodel tonen voor gedragsbeïnvloeding.
Schrijfopdracht over “best mogelijke zelf.”
Toepassen vernieuwde leesmethode.
- Toekenning: Consistente waarde toekenning aan condities (bijv. 0
= geen manipulatie, 1 = wel manipulatie).
- Data: Manipulaties genereren datapunten; validiteit en
betrouwbaarheid van stimuli zijn essentieel.
à Inhoud van stimuli van meetinstrumenten of manipulaties moeten
kloppen.
Meetmodel
à Visualiseert hoe een variabele via stimuli of items wordt
geoperationaliseerd.
à De variabelen of constructen worden weergegeven in ovalen.
- Indicatoren: de stimuli of items die het construct
operationaliseren.
Bv: de vragen op een vragenlijst.
Worden in rechthoeken weergegeven.
- Reflectief meetmodel:
, In een reflectief meetmodel lopen er pijlen van het construct (latente variabele)
naar de indicatoren (bijv. vragenlijstitems).
De richting van de pijlen is belangrijk: het construct bepaalt hoe op de indicatoren
wordt gescoord.
Voorbeeld: Mensen met hoge neiging tot nadenken beantwoorden vragen anders
dan mensen met lage neiging.
Een reflectief meetmodel is niet altijd van toepassing (bijv. bij indexvariabelen
zoals sociaaleconomische status).
- Voorbeeld meetmodel:
Een meetmodel kan meerdere operationalisaties bevatten voor een construct (bijv.
depressie gemeten met een zelfrapportage en diagnostisch interview).
- Meetmodel manipulaties:
Bij manipulaties wordt vaak maar één stimulus gebruikt, dus het meetmodel heeft
één indicator (stimulus).
De pijl in een manipulatie-meetmodel loopt van de indicator naar het construct,
omdat de stimulus het construct beïnvloedt.
In de praktijk wordt het ovaal vaak weggelaten bij manipulaties, en staat de
variabele naam in de rechthoek. voorbeeld van het meetmodel van
de operationalisatie van de Big Five
d.m.v. de Ten Item Personality
Inventory
, 1.3 Betrouwbaarheid en validiteit
Leerdoelen:
Na het bestuderen van deze studietaak kun je
beschrijven wat betrouwbaarheid is
beschrijven wat validiteit is
uitleggen hoe verschillende opvattingen van validiteit zich tot elkaar verhouden
uitleggen hoe validiteit zich verhoudt tot betrouwbaarheid
beschrijven wat een (niet-) systematische meetfout is
uitleggen hoe een (niet-) systematische meetfout zich verhoudt tot
betrouwbaarheid en validiteit
beschrijven wat het verschil is tussen kwantitatief en kwalitatief onderzoek.
Operationalisaties
à Moeten betrouwbaar en valide zijn om representatief te zijn voor de variabelen die
ermee gemeten of gemanipuleerd worden.
à Ze vertalen theoretische constructen naar meetinstrumenten of manipulaties.
à Een ideale operationalisatie zorgt ervoor dat datareeksen nauwkeurig aangeven hoe
mensen scoren op het construct.
àPerfecte metingen bestaan niet; onzuiverheid wordt uitgedrukt in betrouwbaarheid en
validiteit.
Betrouwbaarheid
à De mate waarin een meting bij herhaling hetzelfde resultaat oplevert.
à De kern: stabiliteit over herhaalde metingen.
àHerhaalde metingen moeten idealiter onder gelijkblijvende omstandigheden
plaatsvinden.
- Praktische voorbeelden
Lengtemetingen met verschillende meetinstrumenten:
o 30-centimeterliniaal: minder betrouwbaar (verschillen van centimeters).
o Rolmaat: beter betrouwbaar (verschillen van millimeters).
o Schuif tegen de muur: zeer betrouwbaar (nauwkeurigheid op
millimeterniveau).
Intelligentie: Betrouwbaarheid hangt af van het type test en verstorende invloeden
zoals tijdstip of context.
- invloed van verstorende factoren:
Toevallige factoren beïnvloeden de uitkomst van psychologische tests, zoals:
o Tijdstip van testen (bijvoorbeeld ochtend vs. avond).
o Omgevingscontext (bijvoorbeeld rustige kamer vs. druk plein).
Psychologische variabelen zijn vaak gevoelig voor fluctuaties en externe
invloeden.
- Complexiteit bij psychologische metingen:
Psychologische metingen vereisen stabiliteit in wat gemeten wordt (zoals
intelligentie of stemming).
Kort tijdsinterval tussen herhaalde tests: mogelijk beïnvloed door herinnering of
oefening.
Lang tijdsinterval: risico op natuurlijke veranderingen (bijvoorbeeld cognitieve
veroudering).
- Fluctuerende variabelen: Veranderingen in stemming tonen gevoeligheid van
meetinstrument, niet lage betrouwbaarheid.
, Meetfout
à Meetresultaten worden beïnvloed door zowel het te meten construct als verstorende
invloeden.
à Niet-systematische meetfout (ruis/random measurement error):
Toevallige invloeden zoals stress, weeromstandigheden, of recente
gebeurtenissen.
Minder ruis à betrouwbaardere meting.
Niet-systematische meetfouten middelen zich uit bij herhaald meten, wat leidt tot
de ‘ware’ score.
à Systematische meetfout (bias):
Geen toevallige verstoring, maar een structurele invloed, zoals chronisch slecht
slapen.
Leidt tot systematische vertekening van de meting.
- Totale testscore: Bestaat uit de ‘ware’ score plus meetfout door toevallige en/of
systematische verstoringen.
Validiteit
à De mate waarin een meetinstrument meet wat het moet meten.
- Een volledig betrouwbaar instrument kan alsnog niet valide zijn als het geen verschillen
in het construct (bijv. intelligentie) meet.
- 2 benaderingen of een meetinstrument valide is voor een bepaalde toepassing (in een
bepaalde steekproef van een populatie):
1. De causale opvatting van validiteit
2. Constructvaliditeit
1. Causale opvatting van validiteit
Meetinstrument is valide als:
1. Het construct bestaat.
2. De verschillen tussen (of binnen) mensen op het construct tot verschillende
uitkomsten op het meetinstrument leiden.
Vereist inzicht in hoe het meetinstrument werkt en welke processen een rol
spelen.
2. Constructvaliditeit
à Onderzoekt of interpretaties van scores worden ondersteund door theorie en empirisch
bewijs.
Empirisch bewijs:
o Samenhang tussen items en schalen binnen een meetinstrument.
o Relaties met andere gerelateerde of niet-gerelateerde meetinstrumenten of
uitkomsten.
Voordeel: eenvoudig te onderzoeken zonder volledig begrip van hoe het
meetinstrument werkt.
Nadeel: biedt geen garantie dat het instrument daadwerkelijk het bedoelde
construct meet.
à Om echt te weten of een meetinstrument het construct van interesse meet, is
toch de causale opvatting van validiteit nodig, waarbij wordt uitgezocht hoe een
meetinstrument werkt.
- Andere soorten validiteit:
Indruksvaliditeit (face validity): de mate waarin het meetinstrument de indruk
geeft te meten wat het zou moeten meten na bestudering van het
meetinstrument door een leek of iemand uit het vakgebied.
