Hoorcolleges samenvatting Multimodale
Communicatie
Hoorcollege 1
Mentale schema’s
Volgens Branigan (1992) is een schema een mentale structuur van kennis
waarmee mensen nieuwe waarnemingen voorspellen en interpreteren.
Mentale schema’s zijn sociaal, cultureel en persoonlijk gevormd. De
betekenis van communicatieve situaties ligt niet vast, maar wordt
beïnvloed door dominante interpretaties binnen een cultuur. Betekenis
komt altijd tot stand via meerdere modaliteiten, zoals beeld, geluid, taal
en context.
Multimodaliteit
We nemen de wereld altijd multimodaal waar; modaliteiten zoals beeld,
geluid en taal worden niet afzonderlijk ervaren. Multimodaliteit is geen
optelsom van losse onderdelen, maar een samengesteld geheel (een
“ensemble”) waarin modaliteiten met elkaar verweven zijn.
Communicatieve situaties zelf geven aanwijzingen over betekenis via deze
interactie. Onderzoek naar multimodaliteit richt zich op het definiëren van
de “problem space of multimodality”: hoe verschillende modaliteiten
samenwerken om betekenis te produceren.
Materialities: Sound
Geluid lijkt fysiek eenvoudig te analyseren, maar de interpretatie ervan is
cultureel bepaald. Muziek en geluid werken vaak samen met andere
modaliteiten zoals beeld. Geluid kan abstracte eigenschappen oproepen,
bijvoorbeeld weidsheid of smalheid.
Materialities: Vision/Visuality
Beeldverwerking kent verschillende kenmerken:
Associations: beelden roepen betekenissen of gevoelens op
Compositionality: de manier waarop visuele elementen zijn
samengesteld
Resemblance: gelijkenis met de werkelijkheid
Propositions: beelden doen beweringen of suggereren iets
Experience: persoonlijke en emotionele ervaring van kijken
Visuele betekenis is altijd contextafhankelijk en cultureel
beïnvloed.
Taal en semiotiek
Taal is één van de modaliteiten binnen multimodale communicatie. De
1
,semiotiek (leer van tekens en betekenis) biedt een kader om te analyseren
hoe taal, beeld en geluid gezamenlijk betekenis produceren.
Hoorcollege 2
1. Communicatieve situatie
Een communicatieve situatie ontstaat pas wanneer er herkenbare
patronen of regelmatigheden (material regularities) aanwezig zijn die
door iemand kunnen worden geïnterpreteerd.
→ Zonder interpretatie is er geen communicatie.
→ Communicatie is altijd sociaal ingebed (kennis, macht en gedeelde
conventies binnen een gemeenschap).
2. Material regularities
Waarneembare regelmatigheden in vorm of structuur (geluid, beeld, tekst,
ruimte) die een basis vormen voor betekenis.
→ Pas als deze regelmatigheden worden herkend en begrepen, spreken we
van communicatie.
3. Radical indeterminacy
Zonder gedeelde kennis of context blijft betekenis radicaal onzeker.
→ We kunnen dan alleen gissen wat iets betekent.
Radical indeterminacy is een toestand van totale onzekerheid over
betekenis,
omdat de waarnemer de bedoeling of het systeem van tekens niet kent.
4. Postal model
Communicatie wordt pas echt mogelijk wanneer tekens zijn verankerd in
een gemeenschap van gebruikers.
→ Betekenis berust op gedeelde kennis, niet alleen op vorm.
5. Canvas
De materiële of digitale drager waarop tekens verschijnen (bijv. papier,
scherm, muur, interface, ruimte).
→ Elk canvas biedt bepaalde mogelijkheden en beperkingen voor
betekenisgeving.
6. Affordances
De mogelijkheden tot handelen of betekenisgeven die een omgeving
of object biedt aan een gebruiker.
→ Voorbeeld: een touchscreen biedt andere affordances dan een vel
papier.
2
, → Affordances bepalen welke soorten communicatie een canvas
ondersteunt.
7. Mediumspecificiteit
Elke vorm van communicatie heeft eigenschappen die eigen zijn aan het
gebruikte medium.
→ Wat een canvas natuurlijk kan doen of dragen.
→ Bijvoorbeeld: film combineert beeld en geluid; een krant combineert
tekst en lay-out.
8. Media
Media zijn sociaal en historisch gesitueerde praktijken, manieren van
communiceren die door de tijd en cultuur heen zijn gevormd.
→ Ze zijn geen neutrale technologieën, maar maken deel uit van bredere
communicatieve systemen.
9. Betekenis en materialiteit
Betekenis is niet volledig bepaald door de materiële vorm (Saussure:
arbitrariteit van tekens).
Maar ze is ook niet volledig los daarvan te zien (affordances spelen
mee).
→ De vorm en het gebruik van het canvas beïnvloeden de
manier waarop betekenis ontstaat.
10. Form
De manier waarop de materiële eigenschappen van een
canvas worden gebruikt in communicatie.
→ Vorm stuurt interpretatie al voordat we bewust betekenis toekennen.
→ Voorbeeld: ruimtelijke nabijheid (“spatial proximity”) is op zich al
betekenisvol.
11. Discourse semantics
De ongeschreven regels van interpretatie binnen een communicatieve
context.
→ Beschrijft hoe vormen in een semiotische modus (zoals taal of beeld)
aan hun context worden gekoppeld en welke interpretaties binnen die
context als logisch of toegestaan gelden.
→ Vergelijkbaar met culturele codes of mentale schema’s.
12. Semiotic modes
3
Communicatie
Hoorcollege 1
Mentale schema’s
Volgens Branigan (1992) is een schema een mentale structuur van kennis
waarmee mensen nieuwe waarnemingen voorspellen en interpreteren.
Mentale schema’s zijn sociaal, cultureel en persoonlijk gevormd. De
betekenis van communicatieve situaties ligt niet vast, maar wordt
beïnvloed door dominante interpretaties binnen een cultuur. Betekenis
komt altijd tot stand via meerdere modaliteiten, zoals beeld, geluid, taal
en context.
Multimodaliteit
We nemen de wereld altijd multimodaal waar; modaliteiten zoals beeld,
geluid en taal worden niet afzonderlijk ervaren. Multimodaliteit is geen
optelsom van losse onderdelen, maar een samengesteld geheel (een
“ensemble”) waarin modaliteiten met elkaar verweven zijn.
Communicatieve situaties zelf geven aanwijzingen over betekenis via deze
interactie. Onderzoek naar multimodaliteit richt zich op het definiëren van
de “problem space of multimodality”: hoe verschillende modaliteiten
samenwerken om betekenis te produceren.
Materialities: Sound
Geluid lijkt fysiek eenvoudig te analyseren, maar de interpretatie ervan is
cultureel bepaald. Muziek en geluid werken vaak samen met andere
modaliteiten zoals beeld. Geluid kan abstracte eigenschappen oproepen,
bijvoorbeeld weidsheid of smalheid.
Materialities: Vision/Visuality
Beeldverwerking kent verschillende kenmerken:
Associations: beelden roepen betekenissen of gevoelens op
Compositionality: de manier waarop visuele elementen zijn
samengesteld
Resemblance: gelijkenis met de werkelijkheid
Propositions: beelden doen beweringen of suggereren iets
Experience: persoonlijke en emotionele ervaring van kijken
Visuele betekenis is altijd contextafhankelijk en cultureel
beïnvloed.
Taal en semiotiek
Taal is één van de modaliteiten binnen multimodale communicatie. De
1
,semiotiek (leer van tekens en betekenis) biedt een kader om te analyseren
hoe taal, beeld en geluid gezamenlijk betekenis produceren.
Hoorcollege 2
1. Communicatieve situatie
Een communicatieve situatie ontstaat pas wanneer er herkenbare
patronen of regelmatigheden (material regularities) aanwezig zijn die
door iemand kunnen worden geïnterpreteerd.
→ Zonder interpretatie is er geen communicatie.
→ Communicatie is altijd sociaal ingebed (kennis, macht en gedeelde
conventies binnen een gemeenschap).
2. Material regularities
Waarneembare regelmatigheden in vorm of structuur (geluid, beeld, tekst,
ruimte) die een basis vormen voor betekenis.
→ Pas als deze regelmatigheden worden herkend en begrepen, spreken we
van communicatie.
3. Radical indeterminacy
Zonder gedeelde kennis of context blijft betekenis radicaal onzeker.
→ We kunnen dan alleen gissen wat iets betekent.
Radical indeterminacy is een toestand van totale onzekerheid over
betekenis,
omdat de waarnemer de bedoeling of het systeem van tekens niet kent.
4. Postal model
Communicatie wordt pas echt mogelijk wanneer tekens zijn verankerd in
een gemeenschap van gebruikers.
→ Betekenis berust op gedeelde kennis, niet alleen op vorm.
5. Canvas
De materiële of digitale drager waarop tekens verschijnen (bijv. papier,
scherm, muur, interface, ruimte).
→ Elk canvas biedt bepaalde mogelijkheden en beperkingen voor
betekenisgeving.
6. Affordances
De mogelijkheden tot handelen of betekenisgeven die een omgeving
of object biedt aan een gebruiker.
→ Voorbeeld: een touchscreen biedt andere affordances dan een vel
papier.
2
, → Affordances bepalen welke soorten communicatie een canvas
ondersteunt.
7. Mediumspecificiteit
Elke vorm van communicatie heeft eigenschappen die eigen zijn aan het
gebruikte medium.
→ Wat een canvas natuurlijk kan doen of dragen.
→ Bijvoorbeeld: film combineert beeld en geluid; een krant combineert
tekst en lay-out.
8. Media
Media zijn sociaal en historisch gesitueerde praktijken, manieren van
communiceren die door de tijd en cultuur heen zijn gevormd.
→ Ze zijn geen neutrale technologieën, maar maken deel uit van bredere
communicatieve systemen.
9. Betekenis en materialiteit
Betekenis is niet volledig bepaald door de materiële vorm (Saussure:
arbitrariteit van tekens).
Maar ze is ook niet volledig los daarvan te zien (affordances spelen
mee).
→ De vorm en het gebruik van het canvas beïnvloeden de
manier waarop betekenis ontstaat.
10. Form
De manier waarop de materiële eigenschappen van een
canvas worden gebruikt in communicatie.
→ Vorm stuurt interpretatie al voordat we bewust betekenis toekennen.
→ Voorbeeld: ruimtelijke nabijheid (“spatial proximity”) is op zich al
betekenisvol.
11. Discourse semantics
De ongeschreven regels van interpretatie binnen een communicatieve
context.
→ Beschrijft hoe vormen in een semiotische modus (zoals taal of beeld)
aan hun context worden gekoppeld en welke interpretaties binnen die
context als logisch of toegestaan gelden.
→ Vergelijkbaar met culturele codes of mentale schema’s.
12. Semiotic modes
3
