Toepassing onderzoeksmethode & statistiek
3 februari 2025: Hoorcollege 1 → Dataverzameling, kwalitatief onderzoek
Wat is het juiste antwoord en wat is de verkeerde afleider? Theorie Data Cyclus.
In de schoenen van de participanten kijken → je wil vanuit hun ogen de wereld zien.
Ongestructureerd, semi-gestructureerd (grijs gebied tussen beide kanten) → kwalitatieve
interviews. Andere kant van het spectrum is: gestructureerd → survey.
1. Interview: face-to-face, veel info en context clues, je ziet hoe ze reageren etc. Grote
opbrengst dus, maar tijdrovend.
2. Telefonisch: kleine tijdinvestering maar wel gemis van veel info, je ziet niet wat de
respondent doet/vertrouwelijke info, vertrouwen op de good will van respondent, je ziet hun
mimiek niet, of ze in vertrouwelijke ruimte zitten en of ze afleidingen hebben.
3. Online: ook niet weten of de ruimte passend is bij het onderzoek, gevaar van instabiele
internetverbinding, kleine tijdsinvestering, gebrek aan controle kan zorgen voor negatieve
effecten op verloop interview. Past mooi bij een kort interview.
4. Go-along interview: iets langer met de respondent doorbrengen: paar uur tot dagdeel. Je
loopt mee met de respondent, letterlijk of figuurlijk (met werkzaamheden, hoe het verloopt,
hoe ze handelen etc. En ondertussen praten.), dynamisch: geeft meer beweging en
vrijheid, de respondent wordt minder geconfronteerd door de interviewer, je kan voor je
uitkijken en niet per se naar de interviewer. Veel meer onthouden en korte aantekeningen
want moeilijker op te nemen, interviewde kan iemand tegenkomen of geluiden van auto,
hond etc. Dus meer afleidingen → haalt de flow uit het interview.
5. Etnografisch: meerdere dagen of weken doorbrengen in een gemeenschap →later in
college bespreken.
Je moet vrijheid en rust creëren voor de respondent om te kunnen praten over wat je wilt praten.
Interview: vraag-antwoord model van Tourangeau. Wat gebeurt er tussen het stellen van een vraag
en het krijgen van een antwoord.
1. Interviewer stelt de vraag: de respondent moet het begrijpen: wat wil de interviewer van mij
weten. = comprehension.
2. Ophalen van info): retrieval → ophalen van info.
3. Judgement: gedachten, ideeën, meningen, ervaringen, herinneringen in het hoofd van de
respondent: wat is nuttig of relevant om te delen. Welke van hiervoor genoemde passen bij
de vraag. Ik vermoed/denk/beoordeel dat … is wat de interviewer wil horen. En dan wat wil
en kan ik delen en wat hou ik liever voor me.
4. Response: worden geverbaliseerd tot antwoorden → antwoord geven.
De interviewer moet ook duidelijke vragen stellen, zodat ze goed antwoord geven. Details en
aspecten juist vragen, interviewer kijkt wel wat relevant is. Dat hoeft de respondent niet te
bedenken. Je wilt ook geen woorden in de mond leggen. Faciliteren erbij als interviewer: motiveren
(vertrouwen opbouwen/relatie/rapport) en vragen stellen (inhoud). Wat heeft de respondent nodig
om tot het antwoord te komen → vraag voor interviewer. Die moet beoordelen of ze een volledig
en eerlijk antwoord hebben.
,Onderdelen van een interview:
Stage 1: aankomst en introductie: eerste indruk is belangrijk = interviewer kan overkomen als
onprofessioneel en onkundig. Respondent kan denken deze persoon kan ik niet vertrouwen met
persoonlijke info. Daar kan het onderzoek al stuk lopen. Dus relax binnenkomen,
‘chitchatten’/small talk, alles op orde en klaar hebben.
Stage 2: op enig moment van small talk onderzoek introduceren: hoe gaat het, verwachtingen
scheppen, informed consent, gesprek waar interviewer vragen stellen en geen wedervragen want
tis interview en geen normaal gesprek.
Stage 3: daadwerkelijk beginnen met het interview: opbouwen, want je maakt een stap van
gezellig babbelen naar een serieus interview, je moet in de flow komen en onderwerpen hebben
om in die flow komen. ‘Kun je is wat over jezelf vertellen’ bv. Niet meteen beginnen met ‘dus vertel
over je trauma’. Niet met de deur in huis vallen, maar iemand een beetje er in laten komen.
Opname start pas in fase 3. Daarvoor kan je bij fase 2 al demografische gegevens opschrijven,
maar kan destructief zijn voor de flow van het interview (docent zegt: ik zou het niet doen).
Stage 4: tijdens het interview: echte vragen stellen waar je info over wilt hebben, nadat je het
vertrouwen heb. Benieuwd luisteren, maar neutraal blijven. Vol in de focus en spanningsboog.
Stage 5: einde interview: weer minder relevante vragen stellen voor je interview, langzaam uit rol
interviewer kruipen. Spanningsboog afbouwen. Interviewer weer input geven en antwoorden. Weer
in fase komen van een normaal gesprek. Zijn er nog vragen zo niet opname stoppen. Eventueel
nababbelen. Daarna afscheid nemen en locatie verlaten.
Stage 6: na het interview: verwacht ‘doorknob effect’. Respondent vergeten wat te zeggen, als de
spanning eraf is dan komt het moment dat je denkt ‘dat wilde ik nog vermelden’. Zoals bv op
tentamen, dat je je het antwoord bedenkt op het moment dat je de zaal uitloopt, maar onder de
druk er niet op kon komen. Echt zorgen dat je pas laat de opname stopt en opname stopt, dus
verder stap 5 oprekken om de respondent te laten ontspannen en ze dingen laten te herinneren.
Wanneer interviews?
Grotere context: onderzoek in armere wijken naar geloof bv. Onderzoeksdoel: begrijpen ervaringen
met kerkgemeenschappen. Waarom interviews: bij dergelijke onderzoeksdoelen → ervaringen en
niet gedragingen, en individuele visies.
Focusgroepen
NIET een groepsinterview. Je wilt niet dat elke respondent een voor een een vraag beantwoorden,
maar dat ze met elkaar in gesprek gaan. Dus je bent geen interviewer maar ene moderator: je
stuurt bij en verder praten de respondenten MET elkaar. Juist benieuwd naar interactie, benieuwd
naar info die je met een andere methode niet kan krijgen. Data wordt gegenereerd als interactie.
Laat participanten luisteren, reflecteren en over hun standpunt nadenken.
Groepssamenstelling en grootte:
★ Heterogeen (verschillende perspectieven en ervaringen) vs homogeen (veel raakvlakken,
dezelfde ervaringen)
★ Vreemden, bekenden of bestaande groepen
★ Groepsgrootte
Afhankelijk van: onderwerp, sensitiviteit en complexiteit en breedte (grotere heterogenere groep)
en diepte (kleinere homogenere groep) discussie.
Fasen van focusgroep
★ Forming: testing and dependence. Dependence on the leader
★ Storming: intragroup conflict, critisism. fase van conflicten, bv niemand die wat zegt voor 30
sec. Er moet wat gebeuren, er moet input zijn.
, ★ Norming: development of group cohesion, optimism. Hoe doen we dit. Hand opsteken, kan
je zeggen dat je het er helemaal niet mee eens bent, kan je door elkaar heen praten → het
vormen van normen/regels, dus impliciet of expliciet zorgen voor productief interview.
★ Performing: functional role relatedness, cohesiveness. Vragen die onderzoeker beantwoord
wil hebben. Kan ook zijn dat je bent begonnen met performing, maar dat het toch
terugleiden naar de fase van storming. Dus de nieuwe norm vaststellen wat werkt voor de
groep.
★ Adjourning: termination, separation, ‘death of the group’: deadline gehaald/alles besproken
wat besproken moest worden.
Als moderator de fases kennen en herkennen. In je onderzoek hierop faciliteren. Forming is
makkelijk.
Moderator bij focusgroepen
1. Introductie en basisregels vaststellen
2. Individuele introducties
3. Openingstopic (soort oefening, zorgen dat er een discussie ontstaat en iedereen zich durft
uit te spreken, fase 3 naar fase 4 kan wat langer duren: zit de groep al in fase van
performing of nog in storming).
4. Discussie: als moderator dingen uitproberen om te zorgen dat ze in de fase van performing
komen.
5. Afronding discussie: alles besproken wat we willen bespreken → toe naar de adjourning
fase.
Fasen van focusgroep en van moderator lopen NIET parallel aan elkaar!!!
Vormen van focusgroepen:
Standaard heeft geen naam: dus 1 moderator en bv 6 respondenten
★ Two-way: groep in 2 delen, de helft van de tijd mag groep A discussiëren en groep B
luisteren en dan andersom, en dan wisselt het weer terug. Kan zeggen dat ze moeten
opschrijven. Ook wat stillere mensen aan het woord krijgen want ze hebben ook
opgeschreven. Je geeft ze de tijd om te luisteren en later aan te vullen.
★ Dual moderator: eentje randzaken en eentje sturen bv.
★ Dueling moderator: ook twee moderatoren, maar nemen het voortouw in de discussie. Zelf
de discussie laten zien → fase van norming. Met elkaar in discussie gaan als
‘voorbeeld’/laten zien hoe je het doet. Maar opletten dat je niet al inhoud impliceert.
★ Respondent moderator: plaats jezelf buiten de cirkel en je laat de respondenten het met
elkaar oplossen. Je geeft 1 iemand de briefjes en vragen etc. Je wilt hierbij vooral zien hoe
zij het met elkaar oplossen en interacteren.
Online focusgroepen
★ Chat room focus group → vergelijkbare negatieve gevolgen als online interview.
★ Bulletin board focus group: handig voor mensen uit verschillende tijdzones of gebieden, wel
zorgen dat ze blijven posten.
Wanneer focusgroepen?
Interviewer weet niet veel, onderling wel en ze kunnen elkaar helpen met dingen zien wat ze in
eerste instantie niet konden zien, omdat zij meer weten over het onderwerp dan de interviewer.
★ Potentieel veel stakeholders
★ Discussie mogelijke over rol en invloed
★ Leren van gesprekken/discussies
, Eliciteren en de topiclijst
Elicerende responses. Elicitatie: het uitlokken van reacties of het onttrekken van moeilijk
verkrijgbare informatie. Antwoorden uitlokken door goede vragen te stellen (volgens hc docent).
Probes: meer laten vertellen, info vragen en gesprek sturen. (Op volgorde van specificiteit:)
★ Stilte laten vallen, over het algemeen ongemakkelijk, dus niet de ‘bal’ terugnemen want dat
wil je nog niet, dus zorgen dat iemand verder gaat praten en meer info gaat geven.
★ Ongerichte aanmoediging: eheh, yes, ok, etc.
★ Vraag naar uitweiding: kun je mij hier meer over vertellen?
★ Vraag naar uitleg: wat is/betekent …?
★ Reflectie, interpretatie, samenvatten: klopt het als ik zeg, dat …
Prompts: nieuw onderwerp aanschijnen
★ Introductie van een nieuw onderwerp: als het oké is voor jou, wil ik graag praten over …
Resumerend: probes en prompts
Probe
★ Elicitatiemethode
★ Manier om respondent duidelijk te maken dat je meer wilt horen
★ Kunnen elicitatie materialen voor gebruikt worden.
Eliciterende materialen
★ Vignetten
★ Bestaande data
★ Gemaakte data
Helpt respondenten om zelf data te maken of te zien??
Topic list
Outline van hoofdvragen, subonderwerpen en prompts (en probes).
★ Ontwerpen
○ Mate van consistentie in data-verzameling
○ Flexibiliteit om in te gaan op individuele details (bv eerst topic 5 en dan terug naar 3
of 4 omdat dat zo beter past).
○ Consultatie en discussie met stakeholders
★ Inhoud, structuur en lengte
○ Baseer je op onderzoeksdoel, literatuur, etc.
○ Groepeer zonder herhalen
○ Met topic list voorkom je “scope creep”: ongewild (en te veel) verleggen van focus
buiten je onderzoeksdoel.
Zorg dat je goede open/niet-sturende vragen hebt en schrijf ze zo nodig helemaal uit. Na een
aantal kijken of je je topiclijst niet moet aanpassen → wees reflectief.
Observaties → Participerend vs niet-participerend. Overt (observator bekend) vs covert (verhuld).
Systematisch (checklist) vs niet-systematisch (meer field notes voor volledig overzicht).
Rol van de onderzoeker (research methodes)
Vier typen onderscheiden in boek:
★ Complete participant
★ Participant observer
★ Observer
3 februari 2025: Hoorcollege 1 → Dataverzameling, kwalitatief onderzoek
Wat is het juiste antwoord en wat is de verkeerde afleider? Theorie Data Cyclus.
In de schoenen van de participanten kijken → je wil vanuit hun ogen de wereld zien.
Ongestructureerd, semi-gestructureerd (grijs gebied tussen beide kanten) → kwalitatieve
interviews. Andere kant van het spectrum is: gestructureerd → survey.
1. Interview: face-to-face, veel info en context clues, je ziet hoe ze reageren etc. Grote
opbrengst dus, maar tijdrovend.
2. Telefonisch: kleine tijdinvestering maar wel gemis van veel info, je ziet niet wat de
respondent doet/vertrouwelijke info, vertrouwen op de good will van respondent, je ziet hun
mimiek niet, of ze in vertrouwelijke ruimte zitten en of ze afleidingen hebben.
3. Online: ook niet weten of de ruimte passend is bij het onderzoek, gevaar van instabiele
internetverbinding, kleine tijdsinvestering, gebrek aan controle kan zorgen voor negatieve
effecten op verloop interview. Past mooi bij een kort interview.
4. Go-along interview: iets langer met de respondent doorbrengen: paar uur tot dagdeel. Je
loopt mee met de respondent, letterlijk of figuurlijk (met werkzaamheden, hoe het verloopt,
hoe ze handelen etc. En ondertussen praten.), dynamisch: geeft meer beweging en
vrijheid, de respondent wordt minder geconfronteerd door de interviewer, je kan voor je
uitkijken en niet per se naar de interviewer. Veel meer onthouden en korte aantekeningen
want moeilijker op te nemen, interviewde kan iemand tegenkomen of geluiden van auto,
hond etc. Dus meer afleidingen → haalt de flow uit het interview.
5. Etnografisch: meerdere dagen of weken doorbrengen in een gemeenschap →later in
college bespreken.
Je moet vrijheid en rust creëren voor de respondent om te kunnen praten over wat je wilt praten.
Interview: vraag-antwoord model van Tourangeau. Wat gebeurt er tussen het stellen van een vraag
en het krijgen van een antwoord.
1. Interviewer stelt de vraag: de respondent moet het begrijpen: wat wil de interviewer van mij
weten. = comprehension.
2. Ophalen van info): retrieval → ophalen van info.
3. Judgement: gedachten, ideeën, meningen, ervaringen, herinneringen in het hoofd van de
respondent: wat is nuttig of relevant om te delen. Welke van hiervoor genoemde passen bij
de vraag. Ik vermoed/denk/beoordeel dat … is wat de interviewer wil horen. En dan wat wil
en kan ik delen en wat hou ik liever voor me.
4. Response: worden geverbaliseerd tot antwoorden → antwoord geven.
De interviewer moet ook duidelijke vragen stellen, zodat ze goed antwoord geven. Details en
aspecten juist vragen, interviewer kijkt wel wat relevant is. Dat hoeft de respondent niet te
bedenken. Je wilt ook geen woorden in de mond leggen. Faciliteren erbij als interviewer: motiveren
(vertrouwen opbouwen/relatie/rapport) en vragen stellen (inhoud). Wat heeft de respondent nodig
om tot het antwoord te komen → vraag voor interviewer. Die moet beoordelen of ze een volledig
en eerlijk antwoord hebben.
,Onderdelen van een interview:
Stage 1: aankomst en introductie: eerste indruk is belangrijk = interviewer kan overkomen als
onprofessioneel en onkundig. Respondent kan denken deze persoon kan ik niet vertrouwen met
persoonlijke info. Daar kan het onderzoek al stuk lopen. Dus relax binnenkomen,
‘chitchatten’/small talk, alles op orde en klaar hebben.
Stage 2: op enig moment van small talk onderzoek introduceren: hoe gaat het, verwachtingen
scheppen, informed consent, gesprek waar interviewer vragen stellen en geen wedervragen want
tis interview en geen normaal gesprek.
Stage 3: daadwerkelijk beginnen met het interview: opbouwen, want je maakt een stap van
gezellig babbelen naar een serieus interview, je moet in de flow komen en onderwerpen hebben
om in die flow komen. ‘Kun je is wat over jezelf vertellen’ bv. Niet meteen beginnen met ‘dus vertel
over je trauma’. Niet met de deur in huis vallen, maar iemand een beetje er in laten komen.
Opname start pas in fase 3. Daarvoor kan je bij fase 2 al demografische gegevens opschrijven,
maar kan destructief zijn voor de flow van het interview (docent zegt: ik zou het niet doen).
Stage 4: tijdens het interview: echte vragen stellen waar je info over wilt hebben, nadat je het
vertrouwen heb. Benieuwd luisteren, maar neutraal blijven. Vol in de focus en spanningsboog.
Stage 5: einde interview: weer minder relevante vragen stellen voor je interview, langzaam uit rol
interviewer kruipen. Spanningsboog afbouwen. Interviewer weer input geven en antwoorden. Weer
in fase komen van een normaal gesprek. Zijn er nog vragen zo niet opname stoppen. Eventueel
nababbelen. Daarna afscheid nemen en locatie verlaten.
Stage 6: na het interview: verwacht ‘doorknob effect’. Respondent vergeten wat te zeggen, als de
spanning eraf is dan komt het moment dat je denkt ‘dat wilde ik nog vermelden’. Zoals bv op
tentamen, dat je je het antwoord bedenkt op het moment dat je de zaal uitloopt, maar onder de
druk er niet op kon komen. Echt zorgen dat je pas laat de opname stopt en opname stopt, dus
verder stap 5 oprekken om de respondent te laten ontspannen en ze dingen laten te herinneren.
Wanneer interviews?
Grotere context: onderzoek in armere wijken naar geloof bv. Onderzoeksdoel: begrijpen ervaringen
met kerkgemeenschappen. Waarom interviews: bij dergelijke onderzoeksdoelen → ervaringen en
niet gedragingen, en individuele visies.
Focusgroepen
NIET een groepsinterview. Je wilt niet dat elke respondent een voor een een vraag beantwoorden,
maar dat ze met elkaar in gesprek gaan. Dus je bent geen interviewer maar ene moderator: je
stuurt bij en verder praten de respondenten MET elkaar. Juist benieuwd naar interactie, benieuwd
naar info die je met een andere methode niet kan krijgen. Data wordt gegenereerd als interactie.
Laat participanten luisteren, reflecteren en over hun standpunt nadenken.
Groepssamenstelling en grootte:
★ Heterogeen (verschillende perspectieven en ervaringen) vs homogeen (veel raakvlakken,
dezelfde ervaringen)
★ Vreemden, bekenden of bestaande groepen
★ Groepsgrootte
Afhankelijk van: onderwerp, sensitiviteit en complexiteit en breedte (grotere heterogenere groep)
en diepte (kleinere homogenere groep) discussie.
Fasen van focusgroep
★ Forming: testing and dependence. Dependence on the leader
★ Storming: intragroup conflict, critisism. fase van conflicten, bv niemand die wat zegt voor 30
sec. Er moet wat gebeuren, er moet input zijn.
, ★ Norming: development of group cohesion, optimism. Hoe doen we dit. Hand opsteken, kan
je zeggen dat je het er helemaal niet mee eens bent, kan je door elkaar heen praten → het
vormen van normen/regels, dus impliciet of expliciet zorgen voor productief interview.
★ Performing: functional role relatedness, cohesiveness. Vragen die onderzoeker beantwoord
wil hebben. Kan ook zijn dat je bent begonnen met performing, maar dat het toch
terugleiden naar de fase van storming. Dus de nieuwe norm vaststellen wat werkt voor de
groep.
★ Adjourning: termination, separation, ‘death of the group’: deadline gehaald/alles besproken
wat besproken moest worden.
Als moderator de fases kennen en herkennen. In je onderzoek hierop faciliteren. Forming is
makkelijk.
Moderator bij focusgroepen
1. Introductie en basisregels vaststellen
2. Individuele introducties
3. Openingstopic (soort oefening, zorgen dat er een discussie ontstaat en iedereen zich durft
uit te spreken, fase 3 naar fase 4 kan wat langer duren: zit de groep al in fase van
performing of nog in storming).
4. Discussie: als moderator dingen uitproberen om te zorgen dat ze in de fase van performing
komen.
5. Afronding discussie: alles besproken wat we willen bespreken → toe naar de adjourning
fase.
Fasen van focusgroep en van moderator lopen NIET parallel aan elkaar!!!
Vormen van focusgroepen:
Standaard heeft geen naam: dus 1 moderator en bv 6 respondenten
★ Two-way: groep in 2 delen, de helft van de tijd mag groep A discussiëren en groep B
luisteren en dan andersom, en dan wisselt het weer terug. Kan zeggen dat ze moeten
opschrijven. Ook wat stillere mensen aan het woord krijgen want ze hebben ook
opgeschreven. Je geeft ze de tijd om te luisteren en later aan te vullen.
★ Dual moderator: eentje randzaken en eentje sturen bv.
★ Dueling moderator: ook twee moderatoren, maar nemen het voortouw in de discussie. Zelf
de discussie laten zien → fase van norming. Met elkaar in discussie gaan als
‘voorbeeld’/laten zien hoe je het doet. Maar opletten dat je niet al inhoud impliceert.
★ Respondent moderator: plaats jezelf buiten de cirkel en je laat de respondenten het met
elkaar oplossen. Je geeft 1 iemand de briefjes en vragen etc. Je wilt hierbij vooral zien hoe
zij het met elkaar oplossen en interacteren.
Online focusgroepen
★ Chat room focus group → vergelijkbare negatieve gevolgen als online interview.
★ Bulletin board focus group: handig voor mensen uit verschillende tijdzones of gebieden, wel
zorgen dat ze blijven posten.
Wanneer focusgroepen?
Interviewer weet niet veel, onderling wel en ze kunnen elkaar helpen met dingen zien wat ze in
eerste instantie niet konden zien, omdat zij meer weten over het onderwerp dan de interviewer.
★ Potentieel veel stakeholders
★ Discussie mogelijke over rol en invloed
★ Leren van gesprekken/discussies
, Eliciteren en de topiclijst
Elicerende responses. Elicitatie: het uitlokken van reacties of het onttrekken van moeilijk
verkrijgbare informatie. Antwoorden uitlokken door goede vragen te stellen (volgens hc docent).
Probes: meer laten vertellen, info vragen en gesprek sturen. (Op volgorde van specificiteit:)
★ Stilte laten vallen, over het algemeen ongemakkelijk, dus niet de ‘bal’ terugnemen want dat
wil je nog niet, dus zorgen dat iemand verder gaat praten en meer info gaat geven.
★ Ongerichte aanmoediging: eheh, yes, ok, etc.
★ Vraag naar uitweiding: kun je mij hier meer over vertellen?
★ Vraag naar uitleg: wat is/betekent …?
★ Reflectie, interpretatie, samenvatten: klopt het als ik zeg, dat …
Prompts: nieuw onderwerp aanschijnen
★ Introductie van een nieuw onderwerp: als het oké is voor jou, wil ik graag praten over …
Resumerend: probes en prompts
Probe
★ Elicitatiemethode
★ Manier om respondent duidelijk te maken dat je meer wilt horen
★ Kunnen elicitatie materialen voor gebruikt worden.
Eliciterende materialen
★ Vignetten
★ Bestaande data
★ Gemaakte data
Helpt respondenten om zelf data te maken of te zien??
Topic list
Outline van hoofdvragen, subonderwerpen en prompts (en probes).
★ Ontwerpen
○ Mate van consistentie in data-verzameling
○ Flexibiliteit om in te gaan op individuele details (bv eerst topic 5 en dan terug naar 3
of 4 omdat dat zo beter past).
○ Consultatie en discussie met stakeholders
★ Inhoud, structuur en lengte
○ Baseer je op onderzoeksdoel, literatuur, etc.
○ Groepeer zonder herhalen
○ Met topic list voorkom je “scope creep”: ongewild (en te veel) verleggen van focus
buiten je onderzoeksdoel.
Zorg dat je goede open/niet-sturende vragen hebt en schrijf ze zo nodig helemaal uit. Na een
aantal kijken of je je topiclijst niet moet aanpassen → wees reflectief.
Observaties → Participerend vs niet-participerend. Overt (observator bekend) vs covert (verhuld).
Systematisch (checklist) vs niet-systematisch (meer field notes voor volledig overzicht).
Rol van de onderzoeker (research methodes)
Vier typen onderscheiden in boek:
★ Complete participant
★ Participant observer
★ Observer
