Multimodale communicatie
Belang voor deze cursus: hoe modaliteiten en mentale schema’s samenwerken in actieve creatie van
reclamebetekenissen
Barthes:
Semanticist, linguist. Geïnteresseerd in totstandkoming en werking van connotaties in
bourgeoiscultuur.
Concentreert op: tekst, beeld (denotatief), beeld (connotatief)
1. Tekst
- Decoderingskennis: Franse taal
- Functies: 1. Anchorage (=tekst stuurt wat je moet zien in een afbeelding),
o Werkt repressief (=ideologisch), inperking van betekenis
o 2. Relay: tekst nodig om van de ene kant van het beeld naar de andere
kant te komen (zoals in strips)
2. Beeld (denotatief) = dit is het werkelijk
- Decoderingskennis: basale perceptie
- Functies: 1. Utopische objectiviteit opname van werkelijkheid
Los van connotaties
o 2. Naturaliseert dit is het simpelweg
Maakt connotaties onschuldig
3. Beeld (connotatief) = zo wordt het opgevat in culturen
- Decoderingskennis: cultureel, esthetisch, praktisch, nationaal, etc.
- Functies: variabel aantal lezingen (lexicons)
o Connotaties kunnen worden geclassificeerd, gegroepeerd ideologie
o Retoriek van het beeld discours
Hoorcollege 1
Model van de communicator:
- Neemt audiovisuele aanwijzingen a.d.h.v. zintuigen
- Doet actief mee aan een betekenisvolle uitwerking, gestuurd door deze aanwijzingen
Vormt hypotheses en trekt conclusies m.b.t. betekenis
Daarbij worden bewust en onbewust mentale schema’s (=voorkennis) gebruikt
Mentale schema’s:
- Zijn voor individuen sociaal, cultureel en persoonlijk geconfigureerd
- Betekenis staat niet vast, deze kent wel dominante vormen
- Communicatieve situaties geven aanwijzingen voor betekenis op multimodale wijze
Multimodaliteit
- Communicatieve situatie bestaat altijd uit meerdere audiovisuele aanwijzingen
- Deze bestuderen we als samengestelde ensembles
- BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over
multimodaliteit te kunnen spreken: sound en vision
1
, Materialities: sound
Kenmerken van geluid op fysiek niveau doen lijken alsof het als simpele ‘mono-modaliteit’ is te
begrijpen maar, vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel hiervan is
cultureel bepaald!
Materialities: vision
Kenmerken van beeldverwerking:
- Associations dat een acteur uit het ene shot dezelfde is als in het volgende shot
- Compositionality dat iets ergens op lijkt
- Resemblence letters HOND lijken niet op een hond
- Propositions Velen beweren dat beelden alleen kunnen zien wat er is, ze kunnen niet
laten zien wat er niet is en ze kunnen ook niet ‘liegen’.
- Experience Vaak worden taalmodellen gebruikt voor visuele afbeeldingen, maar de kritiek
hierop is dat de visuele ervaring hierbij wordt genegeerd.
Korte samenvatting: Er zijn talloze visuele benaderingen beschikbaar die men zeker moet gebruiken
bij het bestuderen van multimodale situaties waarbij er sprake is van visuele aspecten. Maar, de
bestaande methoden hebben nog steeds behoefte aan meer geschikte fundamenten die het zeer
uiteenlopende aantal vragen mogelijk meer kunnen laten integreren en onderling kunnen verbinden.
Bovendien heeft een focus op het beeld vaak tot gevolg dat er wordt vergeten dat afbeeldingen nooit
alleen voorkomen, er is in ieder geval een pragmatische context, omdat iedere specifieke afbeelding
gebruikt zal worden in concrete situaties, waarbij er sprake is van samenhang tussen andere modi.
Kennisclip: semiotiek
Semiotiek = pogingen om structurele relaties tussen tekens en betekenis te beschrijven
- Ferdinand de Saussure: taalkundige benadering signifier en concept
Taal is eerder op diens structuur te begrijpen dan op de elementen waar taalkundige
elementen worden gemaakt. Zoals schaakspel, maakt niet uit hoe ze eruitzien maar
hoe ze bewegen.
Fundamentele principe van semiotiek is dat er keuze moet zijn, verschillende
manieren waarop je dingen wil zeggen. Arbitraire woorden (willekeurig)
De letters arbor (signifier) achter elkaar is als concept in ons hoofd het beeld van een
boom (concept), kunnen ook andere letters voor (tree, boom)
Betekenis komt met de waarneming, in een context, en is arbitrair en relatief
- Charles Sanders Peirce: uitbreiding van FdS (pragmatisme) interpretant, representamen
en object
Niet noodzakelijk om alleen op taal te letten, meer kennis in het algemeen
Driedelig model: alles kan een teken zijn, als het zo geïnterpreteerd wordt.
Betekenis komt met de interpretatie en vooral met de actie die dit tot gevolg heeft
(abductie, hypothesevorming)
1. Interpretant: hoe men het voor zich ziet/afbeelding
2. Representamen: letters
3. Object: werkelijke object
2
Belang voor deze cursus: hoe modaliteiten en mentale schema’s samenwerken in actieve creatie van
reclamebetekenissen
Barthes:
Semanticist, linguist. Geïnteresseerd in totstandkoming en werking van connotaties in
bourgeoiscultuur.
Concentreert op: tekst, beeld (denotatief), beeld (connotatief)
1. Tekst
- Decoderingskennis: Franse taal
- Functies: 1. Anchorage (=tekst stuurt wat je moet zien in een afbeelding),
o Werkt repressief (=ideologisch), inperking van betekenis
o 2. Relay: tekst nodig om van de ene kant van het beeld naar de andere
kant te komen (zoals in strips)
2. Beeld (denotatief) = dit is het werkelijk
- Decoderingskennis: basale perceptie
- Functies: 1. Utopische objectiviteit opname van werkelijkheid
Los van connotaties
o 2. Naturaliseert dit is het simpelweg
Maakt connotaties onschuldig
3. Beeld (connotatief) = zo wordt het opgevat in culturen
- Decoderingskennis: cultureel, esthetisch, praktisch, nationaal, etc.
- Functies: variabel aantal lezingen (lexicons)
o Connotaties kunnen worden geclassificeerd, gegroepeerd ideologie
o Retoriek van het beeld discours
Hoorcollege 1
Model van de communicator:
- Neemt audiovisuele aanwijzingen a.d.h.v. zintuigen
- Doet actief mee aan een betekenisvolle uitwerking, gestuurd door deze aanwijzingen
Vormt hypotheses en trekt conclusies m.b.t. betekenis
Daarbij worden bewust en onbewust mentale schema’s (=voorkennis) gebruikt
Mentale schema’s:
- Zijn voor individuen sociaal, cultureel en persoonlijk geconfigureerd
- Betekenis staat niet vast, deze kent wel dominante vormen
- Communicatieve situaties geven aanwijzingen voor betekenis op multimodale wijze
Multimodaliteit
- Communicatieve situatie bestaat altijd uit meerdere audiovisuele aanwijzingen
- Deze bestuderen we als samengestelde ensembles
- BWH identificeert twee “materialities” die noodzakelijk zijn om überhaupt over
multimodaliteit te kunnen spreken: sound en vision
1
, Materialities: sound
Kenmerken van geluid op fysiek niveau doen lijken alsof het als simpele ‘mono-modaliteit’ is te
begrijpen maar, vaststellen hoe geluid wordt geïnterpreteerd is toch echt complexer; veel hiervan is
cultureel bepaald!
Materialities: vision
Kenmerken van beeldverwerking:
- Associations dat een acteur uit het ene shot dezelfde is als in het volgende shot
- Compositionality dat iets ergens op lijkt
- Resemblence letters HOND lijken niet op een hond
- Propositions Velen beweren dat beelden alleen kunnen zien wat er is, ze kunnen niet
laten zien wat er niet is en ze kunnen ook niet ‘liegen’.
- Experience Vaak worden taalmodellen gebruikt voor visuele afbeeldingen, maar de kritiek
hierop is dat de visuele ervaring hierbij wordt genegeerd.
Korte samenvatting: Er zijn talloze visuele benaderingen beschikbaar die men zeker moet gebruiken
bij het bestuderen van multimodale situaties waarbij er sprake is van visuele aspecten. Maar, de
bestaande methoden hebben nog steeds behoefte aan meer geschikte fundamenten die het zeer
uiteenlopende aantal vragen mogelijk meer kunnen laten integreren en onderling kunnen verbinden.
Bovendien heeft een focus op het beeld vaak tot gevolg dat er wordt vergeten dat afbeeldingen nooit
alleen voorkomen, er is in ieder geval een pragmatische context, omdat iedere specifieke afbeelding
gebruikt zal worden in concrete situaties, waarbij er sprake is van samenhang tussen andere modi.
Kennisclip: semiotiek
Semiotiek = pogingen om structurele relaties tussen tekens en betekenis te beschrijven
- Ferdinand de Saussure: taalkundige benadering signifier en concept
Taal is eerder op diens structuur te begrijpen dan op de elementen waar taalkundige
elementen worden gemaakt. Zoals schaakspel, maakt niet uit hoe ze eruitzien maar
hoe ze bewegen.
Fundamentele principe van semiotiek is dat er keuze moet zijn, verschillende
manieren waarop je dingen wil zeggen. Arbitraire woorden (willekeurig)
De letters arbor (signifier) achter elkaar is als concept in ons hoofd het beeld van een
boom (concept), kunnen ook andere letters voor (tree, boom)
Betekenis komt met de waarneming, in een context, en is arbitrair en relatief
- Charles Sanders Peirce: uitbreiding van FdS (pragmatisme) interpretant, representamen
en object
Niet noodzakelijk om alleen op taal te letten, meer kennis in het algemeen
Driedelig model: alles kan een teken zijn, als het zo geïnterpreteerd wordt.
Betekenis komt met de interpretatie en vooral met de actie die dit tot gevolg heeft
(abductie, hypothesevorming)
1. Interpretant: hoe men het voor zich ziet/afbeelding
2. Representamen: letters
3. Object: werkelijke object
2
