Hoorcolleges
Hoorcollege 1
Contrast kwalitatief en kwantitatief onderzoek
Kwalitatief: Kwantitatief:
- Understanding why - Meten hoeveel en causaliteit
- Theory emergent (inductive) - Theorie testen (deductie)
- Woorden en tekst - Variabelen en getallen
- Deelnemers’ view - Onderzoekers’ view
- Proximity (nabijheid) - Distance (levels)
- Proces - Statistisch → ratings (18%)
- Niet-gestructureerd/open - Structured
- Rijke, diepe data - Hard, ‘reliable’ data
- Open voor interpretatie - Meten
Typische research vragen:
Kwalitatief:
- Open vragen (starten met hoe/wat)
- Gefocust op begrijpen en ontwikkelen van concepten
- Omgaan met complexe zaken waarvoor mensen veel woorden nodig hebben om uit te
leggen (ervaringen, betekenis)
- Omgaan met processen
Kwantitatief:
- Hypotheses zijn gesloten vragen
- Gefocust op meten van causaliteit en correlatie
- Omgaan met onderwerpen die geoperationaliseerd kunnen worden in variabelen:
tevredenheid, motivatie
- Dealing with measuring established concepts, such as ‘life satisfaction’, ‘place attachment’,
‘psychological strain’.
- Bij voorkeur voor getallen wordt eerder gebruik gemaakt van kwantitatief onderzoek.
,Research purposes
- Exploratory (Ritchie & Lewis: contextual): explore a phenomenon (at the start of the
research), what exists? Quantitative: counting ‘how many’, qualitative: which features?
- Descriptive (Ritchie & Lewis: contextual): addressing ‘what’ questions, what is the form or
nature of what exists? More focused than exploratory research.
- Explanatory (R&L): addressing ‘why’ questions.
o Quantitative: surveys and experiments, measuring, calculating correlations between
variables, building causal models.
o Qualitative research: studying underlying structures, mechanisms and processes to
explain certain behaviours, actions, or events.
- Evaluative (R&L): appraising the effectiveness of what exists (policy implementations f.e.)
- Generative (R&L): to develop theories, strategies or actions
,Hoorcollege 2
Quality of research and quality criteria
Quality of research according to different paradigms
One’s paradigm influences one’s beliefs of what good research is.
‘good research’ – quality criteria implied in (post)positivism
Drie belangrijke concepten: validiteit, betrouwbaarheid en reproduceerbaarheid.
- Validiteit (validity): bevindingen zijn accuraat en een weerspiegeling van de werkelijkheid –
er zijn verschillende typen validiteit
- Reproduceerbaarheid (replicability): het onderzoek kan opnieuw gedaan worden door een
andere onderzoeker
- Betrouwbaarheid (reliability): een andere onderzoeker het onderzoek hetzelfde uit zou
voeren, komen er dezelfde resultaten uit
Criteria for good qualitative research
Adopt from quantitave approaches?
Or formulate different ones?
Trustworthiness
- Credibility – vertrouwen in de ‘waarheid’ van bevindingen
- Transferability – laten zien dat de bevindingen toepasbaar zijn in andere contexten
- Dependability – laten zien dat de bevingen consistent zijn en opnieuw gevonden zouden
worden
- Confirmability – een mate van neutraliteit of de mate waarin de bevindingen van een studie
gevormd zijn door de respondenten en niet door researcher bias, motivatie of interesse
Techniques to establish trustworthiness in qualitative research
Credibility
- Prolonged (langdurig) engagement and persistent (aanhoudend) observation → voldoende
tijd besteden aan en focussen op aspecten die relevant zijn voor het onderwerp dat wordt
bestudeerd
- Triangulation → het gebruiken van meerdere data sources in een onderzoek om inzicht te
krijgen
- Peer debriefing → zich blootstellen aan een disinterested peer op een manier die parallel
loopt aan een analytische sessie en met het doel aspecten van het onderzoek te
onderzoeken die anders alleen impliciet zouden blijven
- Negative case analysis → analysis of deviant cases may revise, broaden and confirm the
patterns emerging from data analysis (analyse van afwijkende gevallen kan de patronen die
voortkomen uit gegevensanalyse herzien, verbreden en bevestigen)
- Referential adequacy → checking interpretations against data that have not been analyzed
yet (interpretaties toetsen aan gegevens die nog niet zijn geanalyseerd)
- Member-checking (=respondent validation) → gegevens, analytische categorieën,
interpretaties en conclusies worden getest met leden van die groepen waarvan de gegevens
oorspronkelijk zijn verkregen
Transferability
Thick description → Door een fenomeen voldoende gedetailleerd te beschrijven, kan de lezer
beginnen te evalueren in hoeverre de getrokken conclusies overdraagbaar zijn naar andere tijden,
instellingen, situaties en mensen.
, Dependability
Inquiry audit → Externe audits houden in dat een onderzoeker die niet bij het onderzoeksproces
betrokken is, zowel het proces als het product van het onderzoek onderzoekt. Dit kan alleen als er
voldoende details over het proces beschikbaar zijn en als de gegevens goed zijn opgeslagen.
Confirmability
- Confirmability audit → Externe audits houden in dat een onderzoeker die niet bij het
onderzoeksproces betrokken is, zowel het proces en resultaat van het onderzoek toetst (om
te beoordelen of resultaten worden beïnvloed door de onderzoeker)
- Audit trail → transparante beschrijving van de onderzoeksstappen die zijn genomen vanaf de
start van een onderzoeksproject tot de ontwikkeling en rapportage van bevindingen.
- Triangulation → In plaats van triangulatie te zien als een methode voor validatie of
verificatie, gebruiken kwalitatieve onderzoekers deze techniek over het algemeen om ervoor
te zorgen dat een account rijk, robuust, uitgebreid en goed ontwikkeld is.
- Reflexivity → Attitude of attending systematically to the context of knowledge construction,
especially to the effect of the researcher, at every step of the research process.
Criteria for good qualitative research
Of moeten we ons meer zorgen maken over het nut van de uitkomsten in plaats van over de kwaliteit
van het onderzoek? → action research and other traditions.
Sample questions
• In een onderzoek naar ervaringen tijdens een festival, naast het doen van een focus groep
wordt bezoekers gevraagd om dagelijks een dagboek bij te houden over hun gevoelens. Deze
aanpak stelt onderzoekers in staat om … te verbeteren: credibility
• Hoe zal een kwalitatief onderzoeker reageren op de kritiek die voortvloeit uit kwalitatief
onderzoek subjectief is? (Met andere woorden: een andere onderzoeker komt tot een andere
conclusie) → “Ik heb laten zien welke stappen ik heb gezet zodat je kunt inschatten naar
welke mate mijn resultaten betrouwbaar zijn.”
• Measuring normative beliefs and behavioral expectations in organizations: [x] of the
Organizational Culture Inventory → X = validity
Sampling in qualitative research→ quality, generalizability and sampling
Representative generalizability
- Statistical generalizability: random sample from a sampling frame (all units in the
population). Wordt ook wel externe validiteit genoemd.
- Kwalitatief onderzoek:
o Kleine groep
o Homogene groep
- Hoge inschatting van representativiteit
-
Hoorcollege 1
Contrast kwalitatief en kwantitatief onderzoek
Kwalitatief: Kwantitatief:
- Understanding why - Meten hoeveel en causaliteit
- Theory emergent (inductive) - Theorie testen (deductie)
- Woorden en tekst - Variabelen en getallen
- Deelnemers’ view - Onderzoekers’ view
- Proximity (nabijheid) - Distance (levels)
- Proces - Statistisch → ratings (18%)
- Niet-gestructureerd/open - Structured
- Rijke, diepe data - Hard, ‘reliable’ data
- Open voor interpretatie - Meten
Typische research vragen:
Kwalitatief:
- Open vragen (starten met hoe/wat)
- Gefocust op begrijpen en ontwikkelen van concepten
- Omgaan met complexe zaken waarvoor mensen veel woorden nodig hebben om uit te
leggen (ervaringen, betekenis)
- Omgaan met processen
Kwantitatief:
- Hypotheses zijn gesloten vragen
- Gefocust op meten van causaliteit en correlatie
- Omgaan met onderwerpen die geoperationaliseerd kunnen worden in variabelen:
tevredenheid, motivatie
- Dealing with measuring established concepts, such as ‘life satisfaction’, ‘place attachment’,
‘psychological strain’.
- Bij voorkeur voor getallen wordt eerder gebruik gemaakt van kwantitatief onderzoek.
,Research purposes
- Exploratory (Ritchie & Lewis: contextual): explore a phenomenon (at the start of the
research), what exists? Quantitative: counting ‘how many’, qualitative: which features?
- Descriptive (Ritchie & Lewis: contextual): addressing ‘what’ questions, what is the form or
nature of what exists? More focused than exploratory research.
- Explanatory (R&L): addressing ‘why’ questions.
o Quantitative: surveys and experiments, measuring, calculating correlations between
variables, building causal models.
o Qualitative research: studying underlying structures, mechanisms and processes to
explain certain behaviours, actions, or events.
- Evaluative (R&L): appraising the effectiveness of what exists (policy implementations f.e.)
- Generative (R&L): to develop theories, strategies or actions
,Hoorcollege 2
Quality of research and quality criteria
Quality of research according to different paradigms
One’s paradigm influences one’s beliefs of what good research is.
‘good research’ – quality criteria implied in (post)positivism
Drie belangrijke concepten: validiteit, betrouwbaarheid en reproduceerbaarheid.
- Validiteit (validity): bevindingen zijn accuraat en een weerspiegeling van de werkelijkheid –
er zijn verschillende typen validiteit
- Reproduceerbaarheid (replicability): het onderzoek kan opnieuw gedaan worden door een
andere onderzoeker
- Betrouwbaarheid (reliability): een andere onderzoeker het onderzoek hetzelfde uit zou
voeren, komen er dezelfde resultaten uit
Criteria for good qualitative research
Adopt from quantitave approaches?
Or formulate different ones?
Trustworthiness
- Credibility – vertrouwen in de ‘waarheid’ van bevindingen
- Transferability – laten zien dat de bevindingen toepasbaar zijn in andere contexten
- Dependability – laten zien dat de bevingen consistent zijn en opnieuw gevonden zouden
worden
- Confirmability – een mate van neutraliteit of de mate waarin de bevindingen van een studie
gevormd zijn door de respondenten en niet door researcher bias, motivatie of interesse
Techniques to establish trustworthiness in qualitative research
Credibility
- Prolonged (langdurig) engagement and persistent (aanhoudend) observation → voldoende
tijd besteden aan en focussen op aspecten die relevant zijn voor het onderwerp dat wordt
bestudeerd
- Triangulation → het gebruiken van meerdere data sources in een onderzoek om inzicht te
krijgen
- Peer debriefing → zich blootstellen aan een disinterested peer op een manier die parallel
loopt aan een analytische sessie en met het doel aspecten van het onderzoek te
onderzoeken die anders alleen impliciet zouden blijven
- Negative case analysis → analysis of deviant cases may revise, broaden and confirm the
patterns emerging from data analysis (analyse van afwijkende gevallen kan de patronen die
voortkomen uit gegevensanalyse herzien, verbreden en bevestigen)
- Referential adequacy → checking interpretations against data that have not been analyzed
yet (interpretaties toetsen aan gegevens die nog niet zijn geanalyseerd)
- Member-checking (=respondent validation) → gegevens, analytische categorieën,
interpretaties en conclusies worden getest met leden van die groepen waarvan de gegevens
oorspronkelijk zijn verkregen
Transferability
Thick description → Door een fenomeen voldoende gedetailleerd te beschrijven, kan de lezer
beginnen te evalueren in hoeverre de getrokken conclusies overdraagbaar zijn naar andere tijden,
instellingen, situaties en mensen.
, Dependability
Inquiry audit → Externe audits houden in dat een onderzoeker die niet bij het onderzoeksproces
betrokken is, zowel het proces als het product van het onderzoek onderzoekt. Dit kan alleen als er
voldoende details over het proces beschikbaar zijn en als de gegevens goed zijn opgeslagen.
Confirmability
- Confirmability audit → Externe audits houden in dat een onderzoeker die niet bij het
onderzoeksproces betrokken is, zowel het proces en resultaat van het onderzoek toetst (om
te beoordelen of resultaten worden beïnvloed door de onderzoeker)
- Audit trail → transparante beschrijving van de onderzoeksstappen die zijn genomen vanaf de
start van een onderzoeksproject tot de ontwikkeling en rapportage van bevindingen.
- Triangulation → In plaats van triangulatie te zien als een methode voor validatie of
verificatie, gebruiken kwalitatieve onderzoekers deze techniek over het algemeen om ervoor
te zorgen dat een account rijk, robuust, uitgebreid en goed ontwikkeld is.
- Reflexivity → Attitude of attending systematically to the context of knowledge construction,
especially to the effect of the researcher, at every step of the research process.
Criteria for good qualitative research
Of moeten we ons meer zorgen maken over het nut van de uitkomsten in plaats van over de kwaliteit
van het onderzoek? → action research and other traditions.
Sample questions
• In een onderzoek naar ervaringen tijdens een festival, naast het doen van een focus groep
wordt bezoekers gevraagd om dagelijks een dagboek bij te houden over hun gevoelens. Deze
aanpak stelt onderzoekers in staat om … te verbeteren: credibility
• Hoe zal een kwalitatief onderzoeker reageren op de kritiek die voortvloeit uit kwalitatief
onderzoek subjectief is? (Met andere woorden: een andere onderzoeker komt tot een andere
conclusie) → “Ik heb laten zien welke stappen ik heb gezet zodat je kunt inschatten naar
welke mate mijn resultaten betrouwbaar zijn.”
• Measuring normative beliefs and behavioral expectations in organizations: [x] of the
Organizational Culture Inventory → X = validity
Sampling in qualitative research→ quality, generalizability and sampling
Representative generalizability
- Statistical generalizability: random sample from a sampling frame (all units in the
population). Wordt ook wel externe validiteit genoemd.
- Kwalitatief onderzoek:
o Kleine groep
o Homogene groep
- Hoge inschatting van representativiteit
-
