Hoorcollege 1
Onderzoeksmethoden hebben 2 belangrijke kenmerken
1. Op rationale manier nadenken (logische sequentie aan stappen volgen)
2. Empirisch (data verzamelen)
3 doelen met theorieën (om te behalen):
1. Onderdelen die beschrijvend zijn (kwantitatief/kwalitatief)
2. Begrip moet vergroot worden → verklaren
3. Voorspellende kracht
Empirische cyclus: van theorie naar data en terug
1. Fenomeen wil je verklaren
2. Je komt tot een theorie
3. Dit wekt (onderzoeks)vragen op
4. Leidt tot onderzoeksopzet
5. Fijn om onderzoeksopzet te pre registreren = van tevoren opschrijven wat je gaat
doen en hoe je je data gaat analyseren (voor jezelf helder, informatief)
6. Dit levert data op
● Of ondersteuning vinden voor je theorie
● Of hypothese niet bevestigd → aanpassingen maken
Zaken in data vinden die door ruis zijn veroorzaakt dit repliceren krijg je replicatiecrisis
Theorie = verzameling van hoog-abstracte beweringen die iets zeggen over hoe
verschillende variabelen zich tot elkaar verhouden
Componenten van theorieën
1. Assumpties = vooronderstellingen die impliciet in je theorie zitten
2. Variabelen
- Conceptuele = abstract, kunnen niet direct worden gemeten (bijvoorbeeld
schoolprestaties)
- Geoperationaliseerde = concreet, kan direct worden gemeten (bijvoorbeeld
kijken naar cijfers, observaties docent vragen)
→ Operationele definities beschrijven hoe conceptuele constructen gemanipuleerd en/of
gemeten zijn
3. Proposities = beschrijven relatie tussen variabelen
- Verklarende variabelen (onafhankelijke variabelen) → oorzaak. Je gaat ervan
uit dat hij andere variabele verklaart, niet direct manipulatie erop zelf
controleert. Bijvoorbeeld docent kwaliteit, motivatie, intelligentie
MOET: ongecorreleerd, onafhankelijk en orthogonaal zijn
- Responsvariabelen (afhankelijke variabelen) → effect. Bijvoorbeeld
schoolprestaties.
Verschil tussen theorie en een model:
- Theorie is abstractere versie van een model
, - Als variabelen heel eenvoudig aan te wijzen zijn → pragmatisch => model
Verschil tussen theorie en hypothese:
- Theorieën beschrijven behaalde relaties gebaseerd op bestaande data/vorig
onderzoek. Vaak conceptueel.
- Hypothese beschrijven gehypothetiseerde relaties die nog niet getest zijn.
Geoperationaliseerd.
We testen hypotheses over operationele definities:
- Onafhankelijk/verklarende variabele
- Afhankelijk/respons variabele
- Mediërende variabele: verklaart relatie tussen OV en AV
- Modererende variabele: verandert relatie tussen OV en AV
Mediator analyse
- Typische analyse: multipele regressie
- Wanneer A dezelfde invloed uitoefent op B zelfs wanneer C is toegevoegd als
predictor → suggereert mediator hypothese is fout
- Wanneer effect van A op B lijdt wanneer C toegevoegd wordt als predictor → C
tenminste gedeeltelijk mediërend effect op relatie tussen A en B
Moderator analyse
- Typische analyse: ANOVA of multipele regressie met categorische moderator
- Wanneer C inwerkt op A → suggereert dat C A modereert
2 Criteria voor goede theorieën
- Logisch consistent
- Falsifieerbaar → voorspellingen die je kan weerleggen
- In overeenstemming met data
- Helder (specifiek)
- Parsimonious (= spaarzaam) → 2 theorieën die dezelfde voorspellingen doen kiezen
voor simpelere theorie
- Consistent/aansluiten met andere theorieën
- Bruikbaar/predictief (vruchtbaar) = dat je er iets aan hebt
Formuleren onderzoeksvraag
1. Onderwerp kiezen
- Informele kennis (je eigen ervaring)
- Formele achtergrond (voorgaand onderzoek, bestaande theorieën,
beschikbare methoden)
- Is het interessant? (verhoogt je motivatie en andermans interesse)
- Is het feasible? (= haalbaar)
2. Review literatuur
a. Selectiecriteria: kwaliteit als invloed van artikel, identificeren key artikelen,
overweeg artikeltype (empirisch of review/mening)
i. Kwaliteit en impact: hoe vaak een artikel geciteerd is en journal type
ii. Peer reviewed artikelen goed
iii. Key artikelen: welke artikelen dat artikel citeren (klik op ‘cited by’)
, iv. Empirisch artikel herkennen aan abstract (zitten alle onderdelen erin?
onderzoeksvraag, methode, resultaten en conclusie)
v. Review vatten onderzoek van veel studies samen
1. Vaak geen methode/resultaten (vaak meta-analyse)
2. Handig voor snelle overview
vi. Opinions hebben ook sterke theoretische en/of kritische referentiekader en/of levert
een duidelijke hypothese (invalshoek over de data)
vii. Commentary = iemand vindt iets van andermans artikel (commentaar)
Samenvatten onderzoeksartikel:
- Beschrijf hoofd onderzoeksvraag en hypotheses
- Geef onafhankelijke/verklarende variabelen, afhankelijke/responsvariabelen en/of
mediërende/modererende variabelen
- Beschrijf kort hoofdresultaat (hoe variabelen tot elkaar relateren) en hoofdconclusie
, Hoorcollege 2
Interne validiteit: houden oorzaak-effect relaties, zijn er alternatieve verklaringen? Construct
validiteit: leggen de operationalisaties het construct weer?
Statistische validiteit: steunen de statistieken de claim?
Externe validiteit: zijn de resultaten generaliseerbaar?
HARK-ing = hypothetiseren nadat de resultaten bekend zijn
P-hacking = eindeloos toetsen doen tot er significantie uitkomt
Pre-registratie = opschrijven van je experimentele design, je hypotheses en je analyse plan
voor je je onderzoek uitvoert
- Oplossing voor QRPs: HARK-ing, p-hacking en publicatie crisis
- Niet altijd haalbaar, MAAR hypotheses altijd gespecificeerd zijn voor je onderzoek
doet (opschrijven én publiekelijk toegankelijk!)
Exploratief onderzoek (exploratory) = heleboel data verzamelen en daarin kijken wat erin zit
- Bij publiceren duidelijk maken dat je niet van tevoren hebt vastgelegd, maar
exploratief
- Vals negatieven minimaliseren
Bevestigend onderzoek (confirmatory)
- Hypothese echt toetsen, bijvoorbeeld exploratief onderzoek toetsen
- Type-I fouten zo klein mogelijk (vals positieven)
Descriptief onderzoek = geen relatie uitvinden tussen het een en ander of verklaren →
gewoon beschrijven (leeftijd, politieke voorkeur etc)
- Census (demografische statistieken)
- Mening polls etc
- Resulteert vaak in frequentie of associatie claims
Hypothese testen
- Associatie claims: wanneer er alleen gemeten variabelen van constructen zijn →
verklarende en respons variabelen
- Causale claim: wanneer er sprake is van manipulatie → onafhankelijk en afhankelijke
variabelen
Voorbeeld: questionnaire dat meet;
- Of iemand rookt (zelfrapportage)
- Of degene gevoelig is voor stress (persoonlijkheidskenmerk, zelfrapportage)
- Hoe goed de respondenten slapen (zelfrapportage)
Hypothese 1: ik denk dat roken en stress negatieve impact hebben op slaapgedrag
Toets met 2 onafhankelijke variabelen en invloed op 1 variabele
Hypothese 2: ik denk dat stress roken verhoogt en negatieve impact heeft op slaapgedrag
Multivariate toets: invloed van 1 variabele op 2 variabelen
- Het is onmogelijk te bepalen welke van de hypotheses correct is gebruik makend van
observationeel design/niet-experimenteel design (bijv questionnaires)
Onderzoeksmethoden hebben 2 belangrijke kenmerken
1. Op rationale manier nadenken (logische sequentie aan stappen volgen)
2. Empirisch (data verzamelen)
3 doelen met theorieën (om te behalen):
1. Onderdelen die beschrijvend zijn (kwantitatief/kwalitatief)
2. Begrip moet vergroot worden → verklaren
3. Voorspellende kracht
Empirische cyclus: van theorie naar data en terug
1. Fenomeen wil je verklaren
2. Je komt tot een theorie
3. Dit wekt (onderzoeks)vragen op
4. Leidt tot onderzoeksopzet
5. Fijn om onderzoeksopzet te pre registreren = van tevoren opschrijven wat je gaat
doen en hoe je je data gaat analyseren (voor jezelf helder, informatief)
6. Dit levert data op
● Of ondersteuning vinden voor je theorie
● Of hypothese niet bevestigd → aanpassingen maken
Zaken in data vinden die door ruis zijn veroorzaakt dit repliceren krijg je replicatiecrisis
Theorie = verzameling van hoog-abstracte beweringen die iets zeggen over hoe
verschillende variabelen zich tot elkaar verhouden
Componenten van theorieën
1. Assumpties = vooronderstellingen die impliciet in je theorie zitten
2. Variabelen
- Conceptuele = abstract, kunnen niet direct worden gemeten (bijvoorbeeld
schoolprestaties)
- Geoperationaliseerde = concreet, kan direct worden gemeten (bijvoorbeeld
kijken naar cijfers, observaties docent vragen)
→ Operationele definities beschrijven hoe conceptuele constructen gemanipuleerd en/of
gemeten zijn
3. Proposities = beschrijven relatie tussen variabelen
- Verklarende variabelen (onafhankelijke variabelen) → oorzaak. Je gaat ervan
uit dat hij andere variabele verklaart, niet direct manipulatie erop zelf
controleert. Bijvoorbeeld docent kwaliteit, motivatie, intelligentie
MOET: ongecorreleerd, onafhankelijk en orthogonaal zijn
- Responsvariabelen (afhankelijke variabelen) → effect. Bijvoorbeeld
schoolprestaties.
Verschil tussen theorie en een model:
- Theorie is abstractere versie van een model
, - Als variabelen heel eenvoudig aan te wijzen zijn → pragmatisch => model
Verschil tussen theorie en hypothese:
- Theorieën beschrijven behaalde relaties gebaseerd op bestaande data/vorig
onderzoek. Vaak conceptueel.
- Hypothese beschrijven gehypothetiseerde relaties die nog niet getest zijn.
Geoperationaliseerd.
We testen hypotheses over operationele definities:
- Onafhankelijk/verklarende variabele
- Afhankelijk/respons variabele
- Mediërende variabele: verklaart relatie tussen OV en AV
- Modererende variabele: verandert relatie tussen OV en AV
Mediator analyse
- Typische analyse: multipele regressie
- Wanneer A dezelfde invloed uitoefent op B zelfs wanneer C is toegevoegd als
predictor → suggereert mediator hypothese is fout
- Wanneer effect van A op B lijdt wanneer C toegevoegd wordt als predictor → C
tenminste gedeeltelijk mediërend effect op relatie tussen A en B
Moderator analyse
- Typische analyse: ANOVA of multipele regressie met categorische moderator
- Wanneer C inwerkt op A → suggereert dat C A modereert
2 Criteria voor goede theorieën
- Logisch consistent
- Falsifieerbaar → voorspellingen die je kan weerleggen
- In overeenstemming met data
- Helder (specifiek)
- Parsimonious (= spaarzaam) → 2 theorieën die dezelfde voorspellingen doen kiezen
voor simpelere theorie
- Consistent/aansluiten met andere theorieën
- Bruikbaar/predictief (vruchtbaar) = dat je er iets aan hebt
Formuleren onderzoeksvraag
1. Onderwerp kiezen
- Informele kennis (je eigen ervaring)
- Formele achtergrond (voorgaand onderzoek, bestaande theorieën,
beschikbare methoden)
- Is het interessant? (verhoogt je motivatie en andermans interesse)
- Is het feasible? (= haalbaar)
2. Review literatuur
a. Selectiecriteria: kwaliteit als invloed van artikel, identificeren key artikelen,
overweeg artikeltype (empirisch of review/mening)
i. Kwaliteit en impact: hoe vaak een artikel geciteerd is en journal type
ii. Peer reviewed artikelen goed
iii. Key artikelen: welke artikelen dat artikel citeren (klik op ‘cited by’)
, iv. Empirisch artikel herkennen aan abstract (zitten alle onderdelen erin?
onderzoeksvraag, methode, resultaten en conclusie)
v. Review vatten onderzoek van veel studies samen
1. Vaak geen methode/resultaten (vaak meta-analyse)
2. Handig voor snelle overview
vi. Opinions hebben ook sterke theoretische en/of kritische referentiekader en/of levert
een duidelijke hypothese (invalshoek over de data)
vii. Commentary = iemand vindt iets van andermans artikel (commentaar)
Samenvatten onderzoeksartikel:
- Beschrijf hoofd onderzoeksvraag en hypotheses
- Geef onafhankelijke/verklarende variabelen, afhankelijke/responsvariabelen en/of
mediërende/modererende variabelen
- Beschrijf kort hoofdresultaat (hoe variabelen tot elkaar relateren) en hoofdconclusie
, Hoorcollege 2
Interne validiteit: houden oorzaak-effect relaties, zijn er alternatieve verklaringen? Construct
validiteit: leggen de operationalisaties het construct weer?
Statistische validiteit: steunen de statistieken de claim?
Externe validiteit: zijn de resultaten generaliseerbaar?
HARK-ing = hypothetiseren nadat de resultaten bekend zijn
P-hacking = eindeloos toetsen doen tot er significantie uitkomt
Pre-registratie = opschrijven van je experimentele design, je hypotheses en je analyse plan
voor je je onderzoek uitvoert
- Oplossing voor QRPs: HARK-ing, p-hacking en publicatie crisis
- Niet altijd haalbaar, MAAR hypotheses altijd gespecificeerd zijn voor je onderzoek
doet (opschrijven én publiekelijk toegankelijk!)
Exploratief onderzoek (exploratory) = heleboel data verzamelen en daarin kijken wat erin zit
- Bij publiceren duidelijk maken dat je niet van tevoren hebt vastgelegd, maar
exploratief
- Vals negatieven minimaliseren
Bevestigend onderzoek (confirmatory)
- Hypothese echt toetsen, bijvoorbeeld exploratief onderzoek toetsen
- Type-I fouten zo klein mogelijk (vals positieven)
Descriptief onderzoek = geen relatie uitvinden tussen het een en ander of verklaren →
gewoon beschrijven (leeftijd, politieke voorkeur etc)
- Census (demografische statistieken)
- Mening polls etc
- Resulteert vaak in frequentie of associatie claims
Hypothese testen
- Associatie claims: wanneer er alleen gemeten variabelen van constructen zijn →
verklarende en respons variabelen
- Causale claim: wanneer er sprake is van manipulatie → onafhankelijk en afhankelijke
variabelen
Voorbeeld: questionnaire dat meet;
- Of iemand rookt (zelfrapportage)
- Of degene gevoelig is voor stress (persoonlijkheidskenmerk, zelfrapportage)
- Hoe goed de respondenten slapen (zelfrapportage)
Hypothese 1: ik denk dat roken en stress negatieve impact hebben op slaapgedrag
Toets met 2 onafhankelijke variabelen en invloed op 1 variabele
Hypothese 2: ik denk dat stress roken verhoogt en negatieve impact heeft op slaapgedrag
Multivariate toets: invloed van 1 variabele op 2 variabelen
- Het is onmogelijk te bepalen welke van de hypotheses correct is gebruik makend van
observationeel design/niet-experimenteel design (bijv questionnaires)
