Hoorcollege 1 correlationeel: surveys
Correctionele data kunnen op 2 manieren worden geproduceerd:
1. Opzettelijk (designed)
- experiment
- survey (vragenlijst) Hier gaan wij het over hebben.
- Administratie gegevens (belastingdienst)
2. Toevallig (organic)
- Aspirational: toch nog wel opzettelijk, want jij produceert de data (bijvoorbeeld tweeten
of op Facebook een bericht plaatsen)
- Transactional: data zoals de gegevens van een creditcard of de bonuskaart (transactie)
Waarom verzamelen we data?
- Het beschrijven van de sociale werkelijkheid (we willen iets weten over hoe mensen leven)
- Beschrijven van relaties (causale verbanden) Heeft te maken met interne validiteit.
- Generaliseren naar de gehele populatie. Heeft te maken met externe validiteit. Dan hebben we
het over Inferentiële statistiek.
- Beschrijven van de populatie
- Causale verbanden leggen in de populatie
- Voorspellen in de populatie
Er zijn verschillende manieren voor afname van een survey:
Interview Kosten Respons Rate Controle Interviewer
onderzoeker e ecten
Face to face Hoog Hoog Hoog Hoog
(CAPI)
Mail (de post) Laag Laag Laag Laag
Telefoon (CATI) Middelmatig Middelmatig Middelmatig Middelmatig
Internet Laag Middelmatig Middelmatig Laag
- Face tot face is persoonlijk. Met de respondent en de interviewer bij elkaar. Gebeurd vaak bij
jonge mensen of mensen die slecht kunnen lezen.
- Mail. Je krijgt een brief met vragen en vul je de vragenlijst in op papier.
- Mixed mode. Dan combineren we verschillende dingen.
Voor het kiezen van de juiste vormen moet je rekening houden met:
- Mate van betrokkenheid van de interviewer (face to face kan invloed hebben)
- Mate van interactie met de respondent
- Mate van privacy
Mixed mode design:
- Verschillende methoden bij verschillende respondenten (Bv online enquête met mailcomponent
voor die zonder internet)
- Verschillende methoden voor de recruitment en een ander voor het daadwerkelijk verzamelen
- Verschillende methoden voor de data verzameling en de follow-up
- Verschillende methode voor het ‘hoofddoel’ van het onderzoek en verduidelijking van
antwoorden bij bijvoorbeeld gevoelig items
Bij een panelsurvey vragen onderzoekers verschillende mensen over een tijd heen. Bijvoorbeeld
elk jaar een vragenlijst. Het gaat echt over langere tijd. De voordelen zijn dat je verandering over
de tijd kan beschrijven. Ook kunnen we dan kijken naar cohort e ecten. Een cohort is een groep
mensen met hetzelfde geboortejaar. Nadeel is uitval (attrition) en het leere ect. Je gaat dingen
uit je hoofd leren, omdat je hem elk jaar invult. Dit kan je tegengaan door het gebruik van
verschillende methodes. Denk aan eerst mailen, dan face tot face
ff ff ff
,Operationeel proces. Om een (theoretisch) construct te meten, moeten onderzoekers de volgende
stappen volgen:
1. Construct
2. Conceptuele de nitie. Hier beschrijft de onderzoeker wat hij bedoelt met het begrip.
3. Operationele de nitie. De onderzoeker kiest voor een bepaald meetinstrument.
4. Variabele
- Coderen van antwoorden doen we meestal met nummers. Zoals helemaal mee eens = 5 en
helemaal oneens = 1.
- Items score zijn ordinaal van meetniveau. De itemscore is de score van 1 persoon op 1 vraag.
Voor schaalscores zijn 3 opties:
1. Alle scores bij elkaar optellen. Wordt een som score genoemd. Dit is echter niet handig
als er missende waardes tussen zitten.
2. Gemiddelde van alle scores. Deze kan ook uitgerekend worden, als er missende
waardes zijn.
3. Gewogen gemiddelde (behandelen we niet)
Vragen die andersom zijn gesteld (reversely phrased items) moet we ompolen/hercoderen. Hier
willen we dan een hoge score aan geeft dat het veel van het gemeten construct aangeeft.
Bijvoorbeeld een hoge score = veel PTSD. Vragen ompolen moeten we zelf doen in SPSS. Als we
vragen ompolen doen we dit op de volgende manier:
1-4
2- 3
3-2
4-1
Na het ompolen kunnen we een schaalscore uitrekenen. Dit wordt nu dus de gemiddelde score
per persoon, inclusief de omgepoolde vragen (i.p.v. het originele item). Het meetniveau van een
schaalscore is eigenlijk altijd interval.
Hoorcollege 2: Betrouwbaarheid en inleiding tot regressie
Wanneer is een meetinstrument goed?
- Betrouwbaar: bij herhaling hetzelfde vinden. Gaat over precisie. Meting varieert niet als gevolg
van kenmerken van hoe u hebt gemeten of het meetinstrument.
- Validiteit: het meet wat het moet meten. Gaat over accuraatheid
Er zijn 5 soorten begripsvaliditeit
1. Indruksvaliditeit: expert beoordeelt het meetinstrument als goed
2. Inhoudsvaliditeit: meet het alle aspecten van het construct?
3. Convergente validiteit: komen de scores van een soortgelijk meetinstrument overeen?
4. Divergente validiteit: komen de scores van verschillende meetinstrumenten overeen?
5. Criterium validiteit: in welke mate heeft een test een voorspellende mate? Als het bekend is
dat vrouwen beter zijn in schoonmaken dan mannen, dan moet jouw instrument dit ook laten
zien.
De sterkte van een relatie meten doen we met een correlatie. Deze meet de sterkte en richting
van een lineair verband tussen 2 variabelen (van interval of ratio). Dit is aangegeven met r en zit
tussen de +1 en -1. Als het verband 0 is hoeft dit niet te betekenen dat er geen verband is, het
kan ook een ander verband zijn, bijvoorbeeld curve lineair.
- correlatie is ook een maat van validiteit.
Er zijn 3 soorten betrouwbaarheid:
1. Test-hertest betrouwbaarheid: bij het opnieuw afnemen komt er ongeveer dezelfde score uit.
2. Inter-beoordelaars betrouwbaarheid: meerdere beoordelaars komen op ongeveer dezelfde
score uit (vaak bij observaties studies of klinische studies).
3. Interne betrouwbaarheid: in hoeverre hangen de vragen binnen de vragenlijst samen?
De interne betrouwbaarheid wordt gemeten door Cronbach’s Alpha. Deze meet hoe erg de items
correleren met elkaar en of er overlap inzit. Het meet interne consistentie. Hoe hoger de score hoe
meer ptsd de persoon heeft. Dit is de onbesproken regel. Er is hiervoor geen wet.
fi
, - Wanneer alpha < 0.7 is het een lage (interne) betrouwbaarheid.
- Wanneer alpha > 0.8 is er een hoge betrouwbaarheid.
- Hier tussen in wordt gezien als middelmatig
Betrouwbaarheidsanalyse: De schaal verbeteren
In de output komt ook een tabel met item-total statistics. Hiermee kun je kijken of je de
betrouwbaarheid kan verbeteren. In de rechterkolom staat ‘Scale if item deleted’. Deze geeft aan
wat Chronbach’s Alpha zou zijn, als we dit item weglaten. Daarnaast is er een kolom ‘Correct
item-total correlation (R it). Dit is de correlatie tussen de score op dat item en de totaalscore. Je
kan deze tabel gebruiken om de schaal zo betrouwbaar mogelijk te maken:
1. Controleer de correlaties tussen de afzonderlijke items en de schaal zonder dat item. Bij Rit
kleiner is dan 0.2 kan het item mogelijk verwijderd worden. Dit geeft namelijk aan dat dit item
en de rest van de score niet samenhangen.
2. Kijk naar wat er met Chronbach’s Alpha gebeurt als je het item verwijdert. Als deze ver
omhoog gaat, dan verwijder je deze.
Als je een item gaat verwijderen, verwijder je er 1 tegelijk. Je beschrijft dat de items niet zijn
opgenomen in de vragenlijst. Zorg dat je niet te veel items weglaat, want dit kan zorgen voor een
mindere inhoudsvaliditeit.
NHST testen (nul Hypothese signi cantie toetsen)
1. Formuleer de nulhypothese en de hypothese
2. Verzamel data
3. Bereken de p waarde
4. Beslis of je H0 al dan niet verwerpt (p kleiner dan 0.05)
Van correlatie naar regressie
Met een correlatie kunnen we de sterkte en richting bepalen. Een regressieanalyse wordt gebruikt
voor het beschrijven van de vergelijking van de lineaire relatie en het doen van voorspellingen met
deze vergelijking. Een regressie analyse kan een relatie beschrijven en voorspellen.
Een onderzoekvraag met een voorspelling, leidt altijd tot een regressieanalyse (bijvoorbeeld
kunnen we de PTSD-score gebruiken om de productiviteit op het werk te voorspellen?) Bij een
regressieanalyse moet onderscheid worden gemaakt in:
- De variabele die voorspelt gaat worden (Y). Ook wel de afhankelijke variabele
- De variabele die gebruikt wordt om voorspellingen te maken (X). Onafhankelijke variabele
- We gebruiken X om Y te voorspellen.
De regressie lijn
- De regressielijn wordt bepaald met een techniek genaamd Least Squares Regression (minst
gekwadrateerde residuen). Het is moeilijk om te bepalen welke lijn het beste past. Daarom doen
we dit aan de hand van residuen. Dit is de (verticale) afstand tussen de regressielijn en de
geobserveerde waarde.
- Als de lijn niet bij de puntenwolk past, dan krijg je grote residuen. Een punt boven de lijn is
positief en eronder negatief. Optellen kan je op deze manier dus niet doen omdat alles tegen
elkaar wegvalt. Daarom kwadrateer je ze. Als de som van kwadraten heel groot is, dan past de
lijn niet bij de puntenwolk. De kleinste som is dan ook de lijn die het beste past.
- Als er weinig (dus dicht bij elkaar) spreiding is rond de regressielijn, zijn de residuen dus kleiner
en zullen de voorspellingen met deze lijn zeer nauwkeurig zijn. Veel spreiding is dus grotere
residuen en minder nauwkeurige voorspellingen. De nauwkeurigheid kan gemeten worden met
de standaardschattingsfout (Standard error of the estimate). Dit is de gemiddelde fout die
we maken als we de regressievergelijking gebruiken om voorspellingen te doen. De
standaarddeviatie van de residuen. Het is dus een maat van nauwkeurigheid.
- Standaardfout = gemiddelde fout
Regressievergelijking (regression equation)
fi
Correctionele data kunnen op 2 manieren worden geproduceerd:
1. Opzettelijk (designed)
- experiment
- survey (vragenlijst) Hier gaan wij het over hebben.
- Administratie gegevens (belastingdienst)
2. Toevallig (organic)
- Aspirational: toch nog wel opzettelijk, want jij produceert de data (bijvoorbeeld tweeten
of op Facebook een bericht plaatsen)
- Transactional: data zoals de gegevens van een creditcard of de bonuskaart (transactie)
Waarom verzamelen we data?
- Het beschrijven van de sociale werkelijkheid (we willen iets weten over hoe mensen leven)
- Beschrijven van relaties (causale verbanden) Heeft te maken met interne validiteit.
- Generaliseren naar de gehele populatie. Heeft te maken met externe validiteit. Dan hebben we
het over Inferentiële statistiek.
- Beschrijven van de populatie
- Causale verbanden leggen in de populatie
- Voorspellen in de populatie
Er zijn verschillende manieren voor afname van een survey:
Interview Kosten Respons Rate Controle Interviewer
onderzoeker e ecten
Face to face Hoog Hoog Hoog Hoog
(CAPI)
Mail (de post) Laag Laag Laag Laag
Telefoon (CATI) Middelmatig Middelmatig Middelmatig Middelmatig
Internet Laag Middelmatig Middelmatig Laag
- Face tot face is persoonlijk. Met de respondent en de interviewer bij elkaar. Gebeurd vaak bij
jonge mensen of mensen die slecht kunnen lezen.
- Mail. Je krijgt een brief met vragen en vul je de vragenlijst in op papier.
- Mixed mode. Dan combineren we verschillende dingen.
Voor het kiezen van de juiste vormen moet je rekening houden met:
- Mate van betrokkenheid van de interviewer (face to face kan invloed hebben)
- Mate van interactie met de respondent
- Mate van privacy
Mixed mode design:
- Verschillende methoden bij verschillende respondenten (Bv online enquête met mailcomponent
voor die zonder internet)
- Verschillende methoden voor de recruitment en een ander voor het daadwerkelijk verzamelen
- Verschillende methoden voor de data verzameling en de follow-up
- Verschillende methode voor het ‘hoofddoel’ van het onderzoek en verduidelijking van
antwoorden bij bijvoorbeeld gevoelig items
Bij een panelsurvey vragen onderzoekers verschillende mensen over een tijd heen. Bijvoorbeeld
elk jaar een vragenlijst. Het gaat echt over langere tijd. De voordelen zijn dat je verandering over
de tijd kan beschrijven. Ook kunnen we dan kijken naar cohort e ecten. Een cohort is een groep
mensen met hetzelfde geboortejaar. Nadeel is uitval (attrition) en het leere ect. Je gaat dingen
uit je hoofd leren, omdat je hem elk jaar invult. Dit kan je tegengaan door het gebruik van
verschillende methodes. Denk aan eerst mailen, dan face tot face
ff ff ff
,Operationeel proces. Om een (theoretisch) construct te meten, moeten onderzoekers de volgende
stappen volgen:
1. Construct
2. Conceptuele de nitie. Hier beschrijft de onderzoeker wat hij bedoelt met het begrip.
3. Operationele de nitie. De onderzoeker kiest voor een bepaald meetinstrument.
4. Variabele
- Coderen van antwoorden doen we meestal met nummers. Zoals helemaal mee eens = 5 en
helemaal oneens = 1.
- Items score zijn ordinaal van meetniveau. De itemscore is de score van 1 persoon op 1 vraag.
Voor schaalscores zijn 3 opties:
1. Alle scores bij elkaar optellen. Wordt een som score genoemd. Dit is echter niet handig
als er missende waardes tussen zitten.
2. Gemiddelde van alle scores. Deze kan ook uitgerekend worden, als er missende
waardes zijn.
3. Gewogen gemiddelde (behandelen we niet)
Vragen die andersom zijn gesteld (reversely phrased items) moet we ompolen/hercoderen. Hier
willen we dan een hoge score aan geeft dat het veel van het gemeten construct aangeeft.
Bijvoorbeeld een hoge score = veel PTSD. Vragen ompolen moeten we zelf doen in SPSS. Als we
vragen ompolen doen we dit op de volgende manier:
1-4
2- 3
3-2
4-1
Na het ompolen kunnen we een schaalscore uitrekenen. Dit wordt nu dus de gemiddelde score
per persoon, inclusief de omgepoolde vragen (i.p.v. het originele item). Het meetniveau van een
schaalscore is eigenlijk altijd interval.
Hoorcollege 2: Betrouwbaarheid en inleiding tot regressie
Wanneer is een meetinstrument goed?
- Betrouwbaar: bij herhaling hetzelfde vinden. Gaat over precisie. Meting varieert niet als gevolg
van kenmerken van hoe u hebt gemeten of het meetinstrument.
- Validiteit: het meet wat het moet meten. Gaat over accuraatheid
Er zijn 5 soorten begripsvaliditeit
1. Indruksvaliditeit: expert beoordeelt het meetinstrument als goed
2. Inhoudsvaliditeit: meet het alle aspecten van het construct?
3. Convergente validiteit: komen de scores van een soortgelijk meetinstrument overeen?
4. Divergente validiteit: komen de scores van verschillende meetinstrumenten overeen?
5. Criterium validiteit: in welke mate heeft een test een voorspellende mate? Als het bekend is
dat vrouwen beter zijn in schoonmaken dan mannen, dan moet jouw instrument dit ook laten
zien.
De sterkte van een relatie meten doen we met een correlatie. Deze meet de sterkte en richting
van een lineair verband tussen 2 variabelen (van interval of ratio). Dit is aangegeven met r en zit
tussen de +1 en -1. Als het verband 0 is hoeft dit niet te betekenen dat er geen verband is, het
kan ook een ander verband zijn, bijvoorbeeld curve lineair.
- correlatie is ook een maat van validiteit.
Er zijn 3 soorten betrouwbaarheid:
1. Test-hertest betrouwbaarheid: bij het opnieuw afnemen komt er ongeveer dezelfde score uit.
2. Inter-beoordelaars betrouwbaarheid: meerdere beoordelaars komen op ongeveer dezelfde
score uit (vaak bij observaties studies of klinische studies).
3. Interne betrouwbaarheid: in hoeverre hangen de vragen binnen de vragenlijst samen?
De interne betrouwbaarheid wordt gemeten door Cronbach’s Alpha. Deze meet hoe erg de items
correleren met elkaar en of er overlap inzit. Het meet interne consistentie. Hoe hoger de score hoe
meer ptsd de persoon heeft. Dit is de onbesproken regel. Er is hiervoor geen wet.
fi
, - Wanneer alpha < 0.7 is het een lage (interne) betrouwbaarheid.
- Wanneer alpha > 0.8 is er een hoge betrouwbaarheid.
- Hier tussen in wordt gezien als middelmatig
Betrouwbaarheidsanalyse: De schaal verbeteren
In de output komt ook een tabel met item-total statistics. Hiermee kun je kijken of je de
betrouwbaarheid kan verbeteren. In de rechterkolom staat ‘Scale if item deleted’. Deze geeft aan
wat Chronbach’s Alpha zou zijn, als we dit item weglaten. Daarnaast is er een kolom ‘Correct
item-total correlation (R it). Dit is de correlatie tussen de score op dat item en de totaalscore. Je
kan deze tabel gebruiken om de schaal zo betrouwbaar mogelijk te maken:
1. Controleer de correlaties tussen de afzonderlijke items en de schaal zonder dat item. Bij Rit
kleiner is dan 0.2 kan het item mogelijk verwijderd worden. Dit geeft namelijk aan dat dit item
en de rest van de score niet samenhangen.
2. Kijk naar wat er met Chronbach’s Alpha gebeurt als je het item verwijdert. Als deze ver
omhoog gaat, dan verwijder je deze.
Als je een item gaat verwijderen, verwijder je er 1 tegelijk. Je beschrijft dat de items niet zijn
opgenomen in de vragenlijst. Zorg dat je niet te veel items weglaat, want dit kan zorgen voor een
mindere inhoudsvaliditeit.
NHST testen (nul Hypothese signi cantie toetsen)
1. Formuleer de nulhypothese en de hypothese
2. Verzamel data
3. Bereken de p waarde
4. Beslis of je H0 al dan niet verwerpt (p kleiner dan 0.05)
Van correlatie naar regressie
Met een correlatie kunnen we de sterkte en richting bepalen. Een regressieanalyse wordt gebruikt
voor het beschrijven van de vergelijking van de lineaire relatie en het doen van voorspellingen met
deze vergelijking. Een regressie analyse kan een relatie beschrijven en voorspellen.
Een onderzoekvraag met een voorspelling, leidt altijd tot een regressieanalyse (bijvoorbeeld
kunnen we de PTSD-score gebruiken om de productiviteit op het werk te voorspellen?) Bij een
regressieanalyse moet onderscheid worden gemaakt in:
- De variabele die voorspelt gaat worden (Y). Ook wel de afhankelijke variabele
- De variabele die gebruikt wordt om voorspellingen te maken (X). Onafhankelijke variabele
- We gebruiken X om Y te voorspellen.
De regressie lijn
- De regressielijn wordt bepaald met een techniek genaamd Least Squares Regression (minst
gekwadrateerde residuen). Het is moeilijk om te bepalen welke lijn het beste past. Daarom doen
we dit aan de hand van residuen. Dit is de (verticale) afstand tussen de regressielijn en de
geobserveerde waarde.
- Als de lijn niet bij de puntenwolk past, dan krijg je grote residuen. Een punt boven de lijn is
positief en eronder negatief. Optellen kan je op deze manier dus niet doen omdat alles tegen
elkaar wegvalt. Daarom kwadrateer je ze. Als de som van kwadraten heel groot is, dan past de
lijn niet bij de puntenwolk. De kleinste som is dan ook de lijn die het beste past.
- Als er weinig (dus dicht bij elkaar) spreiding is rond de regressielijn, zijn de residuen dus kleiner
en zullen de voorspellingen met deze lijn zeer nauwkeurig zijn. Veel spreiding is dus grotere
residuen en minder nauwkeurige voorspellingen. De nauwkeurigheid kan gemeten worden met
de standaardschattingsfout (Standard error of the estimate). Dit is de gemiddelde fout die
we maken als we de regressievergelijking gebruiken om voorspellingen te doen. De
standaarddeviatie van de residuen. Het is dus een maat van nauwkeurigheid.
- Standaardfout = gemiddelde fout
Regressievergelijking (regression equation)
fi
