Samenvatting artikelen Multimodale Communicatie
Bateman, Wildfeuer & Hiippala Hoofdstuk 2
1 De ‘problem space’ van multimodaliteit
Multimodaliteit bestudeert hoe verschillende modaliteiten (zoals
taal, beeld, geluid, gebaar, lay-out)samenwerken om betekenis te
creëren.
Het “problem space” verwijst naar het theoretische en praktische
domein waarin deze samenwerking onderzocht wordt.
De auteurs benadrukken dat multimodaliteit niet zomaar het
samenvoegen van vormen van communicatie is, maar een complex
samenspel van semiotische systemen.
Een belangrijk uitgangspunt: alle menselijke communicatie is
multimodaal, omdat we altijd meerdere zintuigen gebruiken (zien,
horen, voelen, etc.).
Kernpunt:
Multimodaliteit vraagt om een brede benadering — niet enkel linguïstisch,
maar interdisciplinair, met aandacht voor perceptie, materialiteit en
context.
2 Materialiteit en de zintuigen: geluid
Geluid is een van de fundamentele materialities (materiële
grondvormen) van communicatie.
Geluid lijkt eenvoudig meetbaar (volume, toonhoogte, timbre), maar
de interpretatie is cultureel bepaald.
o Wat in de ene cultuur als vrolijk klinkt, kan in een andere
agressief overkomen.
Muziek, stemgeluid en omgevingsgeluid hebben indexicale functies:
ze verwijzen naar emoties, ruimtelijke afstand of sfeer.
Geluid is niet los te zien van andere modaliteiten (zoals beeld en
taal); betekenis ontstaat juist in hun combinatie.
Voorbeeld: filmmuziek werkt alleen in context met beeld en verhaal.
3 Materialiteit en de zintuigen: visuele modaliteit
Vision/ visuality verwijst naar hoe we beelden waarnemen en
interpreteren.
Beeldbetekenis hangt af van verschillende cognitieve processen:
o Associations – beelden roepen herinneringen en gevoelens
op.
o Compositionality – hoe onderdelen samen een geheel
vormen.
o Resemblance – gelijkenis met werkelijkheid (realistisch of
abstract).
o Propositions – beelden kunnen “beweringen” doen zonder
woorden.
1
, o Experience – persoonlijke ervaring beïnvloedt interpretatie.
Beeld is niet universeel: culturele kennis bepaalt hoe we beelden
lezen (bijv. wat links/rechts of boven/onder betekent).
4 Taal
Taal is één modaliteit binnen een groter multimodaal systeem.
Taalstudie heeft lang gedomineerd (linguïstisch imperialisme), maar
multimodaliteit benadrukt dat taal slechts één van de vele middelen
is om betekenis te maken.
Betekenis ontstaat door de interactie van taal met andere
modaliteiten bijvoorbeeld: de toon, de typografie, of de ruimtelijke
plaatsing van tekst.
Linguïstische theorieën moeten worden uitgebreid zodat ze ook niet-
talige elementen kunnen verklaren.
o Bijvoorbeeld: een reclamezin krijgt een andere betekenis door
het beeld dat erbij staat.
Belangrijk onderscheid:
Taal is abstract en systematisch, maar multimodale betekenis
is contextueel en materieel.
5 Systemen die betekenis dragen: semiotiek
Semiotiek = de studie van tekens en betekenis.
Twee klassieke benaderingen:
1. Ferdinand de Saussure:
Een teken bestaat uit een signifiant (vorm) en
een signifié (betekenis).
De relatie tussen vorm en betekenis
is arbitrair (aangeleerd, niet natuurlijk).
2. Charles Sanders Peirce:
Tekens hebben drie delen:
-Object (waar het naar verwijst),
-Representamen (het teken zelf),
-Interpretant (de betekenis die we eraan geven).
Peirce onderscheidt drie soorten tekens:
Iconen: (lijkt op wat het voorstelt: een foto van
een persoon)
Indexen: is fysiek of causaal verbonden met wat
het voorstelt (rook = vuur, voetafdruk =
aanwezigheid).
Symbolen: zijn cultureel afgesproken (woorden,
vlaggen, logo’s).
Semiotiek is onmisbaar voor multimodaliteit, omdat het helpt
begrijpen hoe verschillende tekensystemen samenwerken.
Hoewel semiotiek soms als “vaag” wordt gezien, benadrukken
Bateman et al. dat het fundamentele concepten biedt voor het
begrijpen van betekenis in alle modaliteiten.
2
,6 Maatschappij, cultuur en media
Multimodaliteit is sociaal en cultureel ingebed: betekenissen worden
gevormd binnen gemeenschappen.
Cultuur bepaalt welke vormen van communicatie “normaal” of
“gepast” zijn.
Media spelen hierin een cruciale rol: ze zijn niet neutraal,
maar vormen en sturen hoe we communiceren.
o Voorbeeld: sociale media dwingen compacte, visueel-tekstuele
vormen (hashtags, emoji’s, memes).
Multimodaliteit bestudeert daarom ook de medialisering van
communicatie: hoe media zelf een actieve rol spelen in
betekenisproductie.
Belangrijk:
Een multimodale analyse moet altijd rekening houden met context,
machtsverhoudingen en culturele conventies.
7 Samenvatting van het hoofdstuk
1. Multimodaliteit is overal: elke communicatieve situatie
combineert meerdere modaliteiten.
2. Materialiteit (geluid, beeld, tast, ruimte) vormt de basis van
betekenisproductie.
3. Semiotiek biedt een theoretisch kader om te begrijpen hoe
verschillende tekensystemen samenwerken.
4. Taal is slechts één modaliteit — betekenis is breder, contextueel en
cultureel bepaald.
5. Mediatisering en cultuur beïnvloeden hoe we multimodaal
communiceren.
6. Onderzoekers moeten vermijden om één modaliteit (zoals taal of
beeld) als universeel uitgangspunt te nemen — dat leidt
tot disciplinair imperialisme.
Kort gezegd:
Hoofdstuk 2 laat zien dat multimodaliteit een interdisciplinaire manier van
kijken is naar hoe menselijke, materiële en culturele factoren samen
betekenis vormen via verschillende zintuiglijke en semiotische systemen.
3
, Barthes 1977
Rhetoric of the Image – Roland Barthes (1964)
Doel van het artikel
Barthes onderzoekt hoe beelden betekenis krijgen.
De centrale vraag: Kan een afbeelding (zoals een foto of advertentie) een
“taal” zijn, met eigen tekens en betekenissystemen?
Om dit te onderzoeken, analyseert Barthes één reclamebeeld: de Panzani-
advertentie (een boodschappentas met Italiaanse producten).
1. De kernvraag: hoe komt betekenis in een beeld?
Beelden worden vaak gezien als natuurlijk of eenvoudig, iets wat je
gewoon “ziet”.
Barthes betwist dat: ook beelden dragen codes en culturele
betekenissen.
Beelden zijn dus niet neutraal, maar bestaan uit systemen van
tekens, net als taal.
2. De drie soorten boodschappen (messages) in één beeld
Barthes stelt dat elk beeld (zoals de Panzani-foto) drie soorten
boodschappen bevat:
a. Linguïstische boodschap (taal)
De tekst in of bij het beeld (bijv. merknaam, slogan, bijschrift).
Functies van taal in een beeld:
1. Anchorage (verankering):
Tekst helpt de kijker de juiste betekenis te kiezen uit de vele
mogelijke betekenissen van het beeld.
→ Tekst “stuurt” hoe we het beeld lezen.
2. Relay (aanvulling):
Tekst en beeld vullen elkaar aan (zoals in strips of films met
dialoog).
→ Beide dragen afzonderlijk bij aan de betekenis.
b. Geïcodeerde iconische boodschap (symbolische laag/connotatie)
Dit is de culturele en symbolische betekenis van wat we zien.
In de Panzani-advertentie:
4
Bateman, Wildfeuer & Hiippala Hoofdstuk 2
1 De ‘problem space’ van multimodaliteit
Multimodaliteit bestudeert hoe verschillende modaliteiten (zoals
taal, beeld, geluid, gebaar, lay-out)samenwerken om betekenis te
creëren.
Het “problem space” verwijst naar het theoretische en praktische
domein waarin deze samenwerking onderzocht wordt.
De auteurs benadrukken dat multimodaliteit niet zomaar het
samenvoegen van vormen van communicatie is, maar een complex
samenspel van semiotische systemen.
Een belangrijk uitgangspunt: alle menselijke communicatie is
multimodaal, omdat we altijd meerdere zintuigen gebruiken (zien,
horen, voelen, etc.).
Kernpunt:
Multimodaliteit vraagt om een brede benadering — niet enkel linguïstisch,
maar interdisciplinair, met aandacht voor perceptie, materialiteit en
context.
2 Materialiteit en de zintuigen: geluid
Geluid is een van de fundamentele materialities (materiële
grondvormen) van communicatie.
Geluid lijkt eenvoudig meetbaar (volume, toonhoogte, timbre), maar
de interpretatie is cultureel bepaald.
o Wat in de ene cultuur als vrolijk klinkt, kan in een andere
agressief overkomen.
Muziek, stemgeluid en omgevingsgeluid hebben indexicale functies:
ze verwijzen naar emoties, ruimtelijke afstand of sfeer.
Geluid is niet los te zien van andere modaliteiten (zoals beeld en
taal); betekenis ontstaat juist in hun combinatie.
Voorbeeld: filmmuziek werkt alleen in context met beeld en verhaal.
3 Materialiteit en de zintuigen: visuele modaliteit
Vision/ visuality verwijst naar hoe we beelden waarnemen en
interpreteren.
Beeldbetekenis hangt af van verschillende cognitieve processen:
o Associations – beelden roepen herinneringen en gevoelens
op.
o Compositionality – hoe onderdelen samen een geheel
vormen.
o Resemblance – gelijkenis met werkelijkheid (realistisch of
abstract).
o Propositions – beelden kunnen “beweringen” doen zonder
woorden.
1
, o Experience – persoonlijke ervaring beïnvloedt interpretatie.
Beeld is niet universeel: culturele kennis bepaalt hoe we beelden
lezen (bijv. wat links/rechts of boven/onder betekent).
4 Taal
Taal is één modaliteit binnen een groter multimodaal systeem.
Taalstudie heeft lang gedomineerd (linguïstisch imperialisme), maar
multimodaliteit benadrukt dat taal slechts één van de vele middelen
is om betekenis te maken.
Betekenis ontstaat door de interactie van taal met andere
modaliteiten bijvoorbeeld: de toon, de typografie, of de ruimtelijke
plaatsing van tekst.
Linguïstische theorieën moeten worden uitgebreid zodat ze ook niet-
talige elementen kunnen verklaren.
o Bijvoorbeeld: een reclamezin krijgt een andere betekenis door
het beeld dat erbij staat.
Belangrijk onderscheid:
Taal is abstract en systematisch, maar multimodale betekenis
is contextueel en materieel.
5 Systemen die betekenis dragen: semiotiek
Semiotiek = de studie van tekens en betekenis.
Twee klassieke benaderingen:
1. Ferdinand de Saussure:
Een teken bestaat uit een signifiant (vorm) en
een signifié (betekenis).
De relatie tussen vorm en betekenis
is arbitrair (aangeleerd, niet natuurlijk).
2. Charles Sanders Peirce:
Tekens hebben drie delen:
-Object (waar het naar verwijst),
-Representamen (het teken zelf),
-Interpretant (de betekenis die we eraan geven).
Peirce onderscheidt drie soorten tekens:
Iconen: (lijkt op wat het voorstelt: een foto van
een persoon)
Indexen: is fysiek of causaal verbonden met wat
het voorstelt (rook = vuur, voetafdruk =
aanwezigheid).
Symbolen: zijn cultureel afgesproken (woorden,
vlaggen, logo’s).
Semiotiek is onmisbaar voor multimodaliteit, omdat het helpt
begrijpen hoe verschillende tekensystemen samenwerken.
Hoewel semiotiek soms als “vaag” wordt gezien, benadrukken
Bateman et al. dat het fundamentele concepten biedt voor het
begrijpen van betekenis in alle modaliteiten.
2
,6 Maatschappij, cultuur en media
Multimodaliteit is sociaal en cultureel ingebed: betekenissen worden
gevormd binnen gemeenschappen.
Cultuur bepaalt welke vormen van communicatie “normaal” of
“gepast” zijn.
Media spelen hierin een cruciale rol: ze zijn niet neutraal,
maar vormen en sturen hoe we communiceren.
o Voorbeeld: sociale media dwingen compacte, visueel-tekstuele
vormen (hashtags, emoji’s, memes).
Multimodaliteit bestudeert daarom ook de medialisering van
communicatie: hoe media zelf een actieve rol spelen in
betekenisproductie.
Belangrijk:
Een multimodale analyse moet altijd rekening houden met context,
machtsverhoudingen en culturele conventies.
7 Samenvatting van het hoofdstuk
1. Multimodaliteit is overal: elke communicatieve situatie
combineert meerdere modaliteiten.
2. Materialiteit (geluid, beeld, tast, ruimte) vormt de basis van
betekenisproductie.
3. Semiotiek biedt een theoretisch kader om te begrijpen hoe
verschillende tekensystemen samenwerken.
4. Taal is slechts één modaliteit — betekenis is breder, contextueel en
cultureel bepaald.
5. Mediatisering en cultuur beïnvloeden hoe we multimodaal
communiceren.
6. Onderzoekers moeten vermijden om één modaliteit (zoals taal of
beeld) als universeel uitgangspunt te nemen — dat leidt
tot disciplinair imperialisme.
Kort gezegd:
Hoofdstuk 2 laat zien dat multimodaliteit een interdisciplinaire manier van
kijken is naar hoe menselijke, materiële en culturele factoren samen
betekenis vormen via verschillende zintuiglijke en semiotische systemen.
3
, Barthes 1977
Rhetoric of the Image – Roland Barthes (1964)
Doel van het artikel
Barthes onderzoekt hoe beelden betekenis krijgen.
De centrale vraag: Kan een afbeelding (zoals een foto of advertentie) een
“taal” zijn, met eigen tekens en betekenissystemen?
Om dit te onderzoeken, analyseert Barthes één reclamebeeld: de Panzani-
advertentie (een boodschappentas met Italiaanse producten).
1. De kernvraag: hoe komt betekenis in een beeld?
Beelden worden vaak gezien als natuurlijk of eenvoudig, iets wat je
gewoon “ziet”.
Barthes betwist dat: ook beelden dragen codes en culturele
betekenissen.
Beelden zijn dus niet neutraal, maar bestaan uit systemen van
tekens, net als taal.
2. De drie soorten boodschappen (messages) in één beeld
Barthes stelt dat elk beeld (zoals de Panzani-foto) drie soorten
boodschappen bevat:
a. Linguïstische boodschap (taal)
De tekst in of bij het beeld (bijv. merknaam, slogan, bijschrift).
Functies van taal in een beeld:
1. Anchorage (verankering):
Tekst helpt de kijker de juiste betekenis te kiezen uit de vele
mogelijke betekenissen van het beeld.
→ Tekst “stuurt” hoe we het beeld lezen.
2. Relay (aanvulling):
Tekst en beeld vullen elkaar aan (zoals in strips of films met
dialoog).
→ Beide dragen afzonderlijk bij aan de betekenis.
b. Geïcodeerde iconische boodschap (symbolische laag/connotatie)
Dit is de culturele en symbolische betekenis van wat we zien.
In de Panzani-advertentie:
4
