Chi (1997): Quantifying qualitative analyses of verbal data: A Practical Guide
Analyseren van observaties, video, houdingen. Methode die kwantitatieve en kwalitatieve elementen
integreert om zo de resultaten minder subjectief te maken. Nog wel tijdrovend.
Kwantitatief en kwalitatief hebben beide tekortkomingen en krachten, daardoor integreren nuttig,
vooral voor complexe vragen als leren.
Introductie methode
Kwantificeren van subjectieve of kwalitatieve codering van inhoud van verbale uitingen. Niet
hetzelfde als tellen hoe vaak iets voorkomt.
Theoretische Bias
Doel is verkrijgen representatie van kennis die een lerende heeft en hoe dat veranderd. En evt
vergelijken met kennis van een expert of gevorderde. Verschil met kennisonderzoekers en deze
methode is dat zij de ideale kennis willen omschrijven en hier uitvinden wat de lerende weet (obv
wat ze zeggen en doen enz.) en hoe die kennis invloed heeft op de manier waarop ze problemen
oplossen. Dus uitingen bestuderen op een manier die niet subjectief is. Deze methode heeft een
rijkere, meer gedetailleerde en meer accurate representatie. Om te ontdekken wat een lerende weet
moet je het volgende analyseren: uitingen (wat ze zeggen) en organiseren van die inhoud (relateren
wat is gezegd), zodat je een structuur kan toepassen, zo bepalen wat inhoud is. Om de structuur te
weten moet je relaties hebben in de set.
-Contrast met protocol analyse: Newell & Simon. Delen sommige technieken. Vijf belangrijkste
verschillen:
o Instruction; Hoe data verzamelen. Hardop-denk protocollen (zo tussenliggende stappen krijgen).
Verschil met uitleggen (deze methode). Hardop denken zou geen effect moeten hebben op
performance, uitleggen wel (leren).
o Goal/Focus; Protocol focus op proces, daarvoor gedetailleerde analyse van de taak nodig en
solution path (model). Focus deze methode (verbale analyse) is om representatie kennis te pakken te
krijgen, minder proces. Niet beginnen met model, maar model van lerende zoeken.
o Analysis: Delen mechanische details (segmenting, coding) en concerns (hoeveel context voor
interpretatie). Verschillend is emphasis en workload. Bij protocol het ideale model, van tevoren. In
verbale analyse referents onbekend.
o Validation: Bij protocol is het degree of match tussen volgorde uitingen en volgorde ideaal model.
Bij verbale methode door statistische tests (hypothese) of kwalitatief structuur en overeenkomsten
andere metingen (interne metingen).
o Conclusion: Verschillende door theoretische bias. Protocol verbonden aan aanpak probleem
oplossen door model identificeren strategie die iemand heeft gebruikt bijvoorbeeld processen
(zoals means-end of subgoaling). Bij verbale: Geen conclusies over strategie, maar over representatie
van oplosser en of het daardoor heeft geholpen bij het oplossingsproces.
Integratie kwantitatief en kwalitatief
Kwalitatief normaal bij observeren en analyseren gevoelig voor interpretatie onderzoeker. Soms
beetje weg te halen met video of audio. Kwantitatief manipuleert de variabelen. Voordeel
kwalitatief: rijkere en dieper begrip situatie. Nadeel: subjectief en niet herhaalbaar. Voordeel
kwantitatief: objectief en herhaalbaar, nadeel: conclusies over een specifieke hypothese. En door
, testomgeving moeilijk generaliseerbaar. Verschillende manieren combineren:
o Interpretation: kwalitatief als ondersteuning om kwantitatief te interpreteren. Niets over kwalitatief
op zich. Nadruk kwantitatief.
o Complementeren: Samen gebruiken, wegen ongeveer even zwaar. Kwantitatief bijv als bevestiging
van kwalitatief.
o Confirmatory: Kwalitatief als achtergrond voor genereren hypotheses, die testen met kwantitatief.
o Alleen kwalitatief, maar kwantificeren; Alleen analyseren kwantitatief. Operationaliseren
subjectieve impressies door coderen en vergelijken frequenties van codes kwantitatief.
Techniek verbale analyse
Forward-and-backward testing proces. Niet per se één volgorde. Acht stappen:
- Reducing or sampling protocols
Bij teveel data. Drie heuristics voor reductie: random sampiling, choosing subset obv noncontent
criteria (pauzes, verandering spreker/activiteit etc) en voorbereidende codering op alles en met klein
deel gedetailleerd. Of alleen 1 fase onderzoek.
- Segmenting reduced or sampled protocols (sometimes optional)
Vier issues om rekening mee te houden bij segmenteren: Grain size segment, correspondence of
grain size to question one is asking, kenmerken in data voor segmenteren en niet nodig om te
segmenteren.
Granularity: Opknippen kan op verschillende punten, zoals in zinnen, ideeën, betekenisvol, paragraaf,
beurtwisseling, episode (event). Kan achteraf gekozen worden. Op twee verschillende manieren
bevordert betrouwbaarheid.
Correspondence: Is de gekozen grain size goed voor gestelde vragen om de resultaten te
interpreteren.
Features used for segmenting: Keuze grain size invloed op hoe makkelijk segmenteren. Grenzen
identificeren door noncontent/syntatic (taal of activiteit) of semantic (idee, argument, onderwerp).
Voordeel noncontent is niet eerst lezen data. Searching rather than segmenting: segmenteren niet
nodig, zoeken naar voorkomen activiteit.
- Developing or choosing coding scheme of formalism
Codes ontwikkelen die overeenkomen met de kennis. Hangt af van theoretische oriëntatie,
hypotheses/vragen, taak en domein. Kan bijv. met taxonomie (concept, principle, system, technical
knowledge). Laten vaak formalisme niet zien. Overeenkomen met doel. Afhankelijk van situatie.
Idealiter codeerschema top-down maken, op basis van hypothese. Fine-tuning door data, open voor
aanpassing (bottum-up).
- Operationalizing evidence in coded protocols that constitutes a mapping to some chosen formalism.
Welke uitingen bevatten bewijs voor specifieke categorie en code. Problemen: hoe oplossen
ambiguïteit en hoeveel context meenemen in interpretatie. Ambiguïteit Context: Hoeveel eromheen
meenemen? Drie keuzes: zoveel context als nodig gebruiken, alleen segment (vaak bij meerdere
mensen) en twee keer coderen. Consistent in zijn.
- Depicting the mapped formalism (optional)
Verbeelden om twee redenen: presenteren data voor publiek en overeenkomst met kwantitatief om
zo te kijken of er patronen te ontdekken zijn. Assumpties maken over wat een node en link is in een
semantisch netwerk. Format maakt niet uit (beeld, boomstructuur enz). Conclusies worden gehaald
uit de patronen (volgende stap), maar er kunnen wel fouten worden gemaakt in het visueel
weergeven.
Analyseren van observaties, video, houdingen. Methode die kwantitatieve en kwalitatieve elementen
integreert om zo de resultaten minder subjectief te maken. Nog wel tijdrovend.
Kwantitatief en kwalitatief hebben beide tekortkomingen en krachten, daardoor integreren nuttig,
vooral voor complexe vragen als leren.
Introductie methode
Kwantificeren van subjectieve of kwalitatieve codering van inhoud van verbale uitingen. Niet
hetzelfde als tellen hoe vaak iets voorkomt.
Theoretische Bias
Doel is verkrijgen representatie van kennis die een lerende heeft en hoe dat veranderd. En evt
vergelijken met kennis van een expert of gevorderde. Verschil met kennisonderzoekers en deze
methode is dat zij de ideale kennis willen omschrijven en hier uitvinden wat de lerende weet (obv
wat ze zeggen en doen enz.) en hoe die kennis invloed heeft op de manier waarop ze problemen
oplossen. Dus uitingen bestuderen op een manier die niet subjectief is. Deze methode heeft een
rijkere, meer gedetailleerde en meer accurate representatie. Om te ontdekken wat een lerende weet
moet je het volgende analyseren: uitingen (wat ze zeggen) en organiseren van die inhoud (relateren
wat is gezegd), zodat je een structuur kan toepassen, zo bepalen wat inhoud is. Om de structuur te
weten moet je relaties hebben in de set.
-Contrast met protocol analyse: Newell & Simon. Delen sommige technieken. Vijf belangrijkste
verschillen:
o Instruction; Hoe data verzamelen. Hardop-denk protocollen (zo tussenliggende stappen krijgen).
Verschil met uitleggen (deze methode). Hardop denken zou geen effect moeten hebben op
performance, uitleggen wel (leren).
o Goal/Focus; Protocol focus op proces, daarvoor gedetailleerde analyse van de taak nodig en
solution path (model). Focus deze methode (verbale analyse) is om representatie kennis te pakken te
krijgen, minder proces. Niet beginnen met model, maar model van lerende zoeken.
o Analysis: Delen mechanische details (segmenting, coding) en concerns (hoeveel context voor
interpretatie). Verschillend is emphasis en workload. Bij protocol het ideale model, van tevoren. In
verbale analyse referents onbekend.
o Validation: Bij protocol is het degree of match tussen volgorde uitingen en volgorde ideaal model.
Bij verbale methode door statistische tests (hypothese) of kwalitatief structuur en overeenkomsten
andere metingen (interne metingen).
o Conclusion: Verschillende door theoretische bias. Protocol verbonden aan aanpak probleem
oplossen door model identificeren strategie die iemand heeft gebruikt bijvoorbeeld processen
(zoals means-end of subgoaling). Bij verbale: Geen conclusies over strategie, maar over representatie
van oplosser en of het daardoor heeft geholpen bij het oplossingsproces.
Integratie kwantitatief en kwalitatief
Kwalitatief normaal bij observeren en analyseren gevoelig voor interpretatie onderzoeker. Soms
beetje weg te halen met video of audio. Kwantitatief manipuleert de variabelen. Voordeel
kwalitatief: rijkere en dieper begrip situatie. Nadeel: subjectief en niet herhaalbaar. Voordeel
kwantitatief: objectief en herhaalbaar, nadeel: conclusies over een specifieke hypothese. En door
, testomgeving moeilijk generaliseerbaar. Verschillende manieren combineren:
o Interpretation: kwalitatief als ondersteuning om kwantitatief te interpreteren. Niets over kwalitatief
op zich. Nadruk kwantitatief.
o Complementeren: Samen gebruiken, wegen ongeveer even zwaar. Kwantitatief bijv als bevestiging
van kwalitatief.
o Confirmatory: Kwalitatief als achtergrond voor genereren hypotheses, die testen met kwantitatief.
o Alleen kwalitatief, maar kwantificeren; Alleen analyseren kwantitatief. Operationaliseren
subjectieve impressies door coderen en vergelijken frequenties van codes kwantitatief.
Techniek verbale analyse
Forward-and-backward testing proces. Niet per se één volgorde. Acht stappen:
- Reducing or sampling protocols
Bij teveel data. Drie heuristics voor reductie: random sampiling, choosing subset obv noncontent
criteria (pauzes, verandering spreker/activiteit etc) en voorbereidende codering op alles en met klein
deel gedetailleerd. Of alleen 1 fase onderzoek.
- Segmenting reduced or sampled protocols (sometimes optional)
Vier issues om rekening mee te houden bij segmenteren: Grain size segment, correspondence of
grain size to question one is asking, kenmerken in data voor segmenteren en niet nodig om te
segmenteren.
Granularity: Opknippen kan op verschillende punten, zoals in zinnen, ideeën, betekenisvol, paragraaf,
beurtwisseling, episode (event). Kan achteraf gekozen worden. Op twee verschillende manieren
bevordert betrouwbaarheid.
Correspondence: Is de gekozen grain size goed voor gestelde vragen om de resultaten te
interpreteren.
Features used for segmenting: Keuze grain size invloed op hoe makkelijk segmenteren. Grenzen
identificeren door noncontent/syntatic (taal of activiteit) of semantic (idee, argument, onderwerp).
Voordeel noncontent is niet eerst lezen data. Searching rather than segmenting: segmenteren niet
nodig, zoeken naar voorkomen activiteit.
- Developing or choosing coding scheme of formalism
Codes ontwikkelen die overeenkomen met de kennis. Hangt af van theoretische oriëntatie,
hypotheses/vragen, taak en domein. Kan bijv. met taxonomie (concept, principle, system, technical
knowledge). Laten vaak formalisme niet zien. Overeenkomen met doel. Afhankelijk van situatie.
Idealiter codeerschema top-down maken, op basis van hypothese. Fine-tuning door data, open voor
aanpassing (bottum-up).
- Operationalizing evidence in coded protocols that constitutes a mapping to some chosen formalism.
Welke uitingen bevatten bewijs voor specifieke categorie en code. Problemen: hoe oplossen
ambiguïteit en hoeveel context meenemen in interpretatie. Ambiguïteit Context: Hoeveel eromheen
meenemen? Drie keuzes: zoveel context als nodig gebruiken, alleen segment (vaak bij meerdere
mensen) en twee keer coderen. Consistent in zijn.
- Depicting the mapped formalism (optional)
Verbeelden om twee redenen: presenteren data voor publiek en overeenkomst met kwantitatief om
zo te kijken of er patronen te ontdekken zijn. Assumpties maken over wat een node en link is in een
semantisch netwerk. Format maakt niet uit (beeld, boomstructuur enz). Conclusies worden gehaald
uit de patronen (volgende stap), maar er kunnen wel fouten worden gemaakt in het visueel
weergeven.
