Hoorcollege 2 – De computer als gesprekspartner
SUI = Speech User Interface. Waarom gebruiken we een SUI?
1. Hands-busy (Autorijden) / Eyes-busy (Focus)
2. Bemoeilijkte gebruikers (Blinde mensen)
3. Toetsenbord wordt steeds kleiner (Mobiele apparaten)
Hoe werkt een SUI? De architectuur van een spraaksysteem heet een pipeline.
Gebruiker -> Spraak naar ASR (Spraakherkenner) -> Woorden naar NLU
(Taalanalyse) -> Betekenis naar Dialoog Manager (Interacteert met de
gebruiker) -> Betekenis naar NLG (Taalgenerator) -> Woorden naar TTS
(Spraaksynthese) -> Spraak naar Gebruiker.
“Pure” spraakherkenning vaak slecht, werkt toch deels op basis van
verwachtingen.
TTS ofwel Spraaksynthese: Zet woorden om in spraak. Hoe gaat dat te werk?
Er zijn 40 fonemen in het Nederlands. Als je ‘kat’ door een computer wil laten
uitspreken werkt het niet om gewoon /k/ + /a/ + /t/ = khat = fout. Daarom moet
het anders opgelost worden.
Mogelijke oplossingen zijn:
1. Difonen (/k/ + /ka/ + /at/ + /t/ = goed). Zijn ongeveer 1200 difonen in
NL’se taal.
Nadelen: Klinkt onnatuurlijk en onmenselijk.
2. Frase concatenatie (Vooraf ingesproken tekst, opgeslagen in phrases,
bijvoorbeeld: “Het is een”, “Vergeet u niet uit te checken”, etc.)
Nadelen: Is heel bewerkelijk en steeds zelfde stem nodig.
Problemen van SUI’s in het algemeen:
1. Herkenbaarheidsfouten
a). Goats vs Sheeps
Goats: <15, >65, Vrouw, Limburgers Sheeps: 15-65, man, ABN
b). Hyperarticulatie (1st error = 18%, 2nd error is 40%)
2. Turn Management
a). Vertraging of juist te snel
b). “Out of Demain”.
3. Understandibility of Speech Synthesis (Verstaanbaarheid van TTS)
Verstaanbaarheid van TTS kan verbeterd worden door het toevoegen van een
gezicht (visualiseren). Dit komt door het cocktail-party effect. Bij
achtergrondgeluid kan men zich beter focussen op een tekst als er een gezicht
toegevoegd wordt.
Virtuele mensen: Natuurlijke taal + Visuele representatie (Bijv. een talking-
head).
Wanneer de interactie een gezicht is:
1. Mensen minder relaxed, open, minder zelf-verzekerd, positiever zelfbeeld
van zichzelf
2. Mannen vinden het leuker dan vrouwen
3. Te veel visuele expressies worden niet gewaardeerd
Hoe moet je visuele spraak maken?
Je neemt de fonemen uit de NL’se taal (40 fonemen): /a/, /o/, /u/ bijv.
De fonemen zet je om in visemen (zijn er ongeveer 12): keel, lip, tong, vooraan,
achteraan, bijv.
/a/ = wijd /o/ = tussenin /u/=bol
Coarticulatie: Uitspreken van klanken is afhankelijk van klanker ervoor.
Paul Ekman is expert op het gebied van Wenkbrauwbewegingen en heeft
FACS ontwikkeld.
Wenkbrauwbegewingen zijn cultuurgerelateerd.
Langzame bewegingen = Emoties = Duidelijk.
,Snelle bewegingen = Conversaties = Onduidelijk. Snelle
wenkbrauwbewegingen zijn belangrijk.
Linker wenkbrauwen worden vaker gebruikt dan rechter wenkbrauwen. Links dus
beter getraind.
Toonhoogte loopt bijna synchroon met Wenkbrauwbewegingen. Als mensen
hun handen niet bewegen gaan ze ook monotoner praten.
Hoe geef je een computer (talking-head) een persoonlijkheid mee?
Persoonlijkheid is belangrijk bij interactie. Het is vrij gemakkelijk om een
computer een persoonlijkheid mee te geven door de computer bepaalde
handelingen te laten ondergaan.
Dit doe je aan de hand van:
1. Stereotypen
2. Gebruik van non-verbale expressies
Als alle handelingen extravert zijn wordt een persoon niet als extreem extravert
gezien.
Lineaire interpolatie/Morphing Technieken: Om de mondbewegingen er niet
schokkerig te laten uitzien.
Fusion-module: Combineert informatie uit verschillende modaliteiten.
Bijvoorbeeld geschreven en gesproken medium.
Automatische Optische Karakterherkenning (OCR) = gedrukte boeken
kunnen automatisch volledig gedigitaliseerd worden.
Gutenberg project = grootschalig digitaliseringsproject. → moeten toch nog
gecorrigeerd worden.
Onderzoeksartikel HC 2 - Marsi & Rooden (2007)
Waarom zou een QA systeem onzekerheid uit willen drukken?
Ze bieden de kans om onzekerheid uit de drukken zonder te kijken naar de
linguistieke betekenis. Onzekerheid wordt beter uitgedrukt in audiovisuele
termen dan in woorden.
Onzekerheid:
Wenkbrauwen: Hoofd:
- Veel (onnodige) bewegingen - Veel (onnodige) bewegingen
- Opgaande wenkbrauwen met nieuwe - Zijwaartse beweging
(schudden) met
informatie nieuwe informatie
Zekerheid:
Wenkbrauwen: Hoofd:
- Weinig bewegingen - Weinig bewegingen
- Fronsen met nieuwe informatie - Knikken met nieuwe informatie
Hoorcollege 3 – Digitale communicatie in taal en beeld
Multimodaliteit: Er zijn meerdere soorten multimodale communicatie.
1. Geschreven medium
a). Verschillende codes
b). Taal, typografie, lay-out, grafiek en plaatjes.
2. Gesproken medium
a). Verschillende codes & kanalen
b). Spraak, auditieve & visuele prosodie: Intonatie, Spraaktempo &
kwaliteit, pauzes, gezichtsexpressies, hoofdbewegingen, oogbewegingen
en lichaamstaal & houding.
Bij volledige menselijke communicatie is er ook beeld vereist.
Digitalisering stimuleert multimodaliteit. Het voegt nieuwe dimensies toe aan
het geschreven medium.
, - Interactiviteit
- Integratie van informatiebronnen (Youtube, Skype, etc.)
- Integratie van semantische systemen
Digitalisering integreert het gesproken en geschreven medium.
Daarnaast vergroot het het belang van het visuele medium en zorgt het voor
een nieuwe agenda voor onderwijs en onderzoek.
Taal:
Voordelen Nadelen
Stabiele betekenis Taal condenseert betekenis
Abstractie maken van iets Grote interpretatieruimte mogelijk
Basisbetekenis heb je al Afhankelijk van kennis van
(Onderdeterminering) taalsystemen
Het is vaak kort & krachtig Taal is niet robuust
Beeld:
Voordelen Nadelen
Tekens (Symbolen) Instabiele betekenis
Bewerkelijker dan taal Neigt naar overdeterminering
Minder afhankelijk van kennis van Moeilijk voor complexe en abstracte
codesystemen concepten
Beeld lijkt robuuster x
Alles begint bij beeld. Beeld gaat vooraf aan taal. Analoge dingen eerst. Dit zie
je ook bij kinderen.
Ofwel: Ontogeny recapitulates Phylogeny. D.w.z.: Ontwikkeling van een
individu wordt afgezet tegen de ontwikkeling van een groep. Van
pictografische afbeeldingen naar abstractere vormen.
Schriftsystemen: Gingen van analoog (plaatjes) naar arbitrair (taal & tekst).
Denk aan de oudheid.
Visualisering is gekoppeld aan taal. De verwerking van tekst-
beeldcommunicaties kan op 2 manieren.
1. Dual-Coding theorie (Paivio). Verwerkingsproces gaat in 2 paden.
Verbale (propositionele representatie) en Visuele (mentale representatie)
input.
a). Mayer’s Cognitive Theory of Multimedia Learning (CTML)
= Verklarende plaatjes met kernachtige onderschriften levert meer op
dan alleen tekst en beeld
Multimedia = Tekst en beeld is beter dan tekst alleen
Contiguity = Presenteer tekst en beeld simultaan
Redundancy = Geen gesproken tekst en overlappende geschreven tekst
tegelijk
Coherence = Neem niet meer op dan nodig is
Modality = Tekst liever auditief dan visueel
Individual Differences = Effect afhankelijk van voorkennis, vaardigheden en
voorkeuren
Personalisation = Personaliseer animaties om de betrokkenheid te
verhogen
Signaling = Richt de aandacht op het juiste onderdeel van de animatie
Interaction = Interactie is beter dan geen interactie
Social Agency = Voeg een ‘social agent’ toe die het leren en de
betrokkenheid verhoogt
b). Schnotz’ geintegreerde model van tekst-beeldverwerking.
2. Cognitive Load Theory (Sweller)
Working memory is extreem klein. Het heft een visuele en verbale kamer.
Long Term Memory is in principe onbegrensd. Leren betekent dat kennis zijn
SUI = Speech User Interface. Waarom gebruiken we een SUI?
1. Hands-busy (Autorijden) / Eyes-busy (Focus)
2. Bemoeilijkte gebruikers (Blinde mensen)
3. Toetsenbord wordt steeds kleiner (Mobiele apparaten)
Hoe werkt een SUI? De architectuur van een spraaksysteem heet een pipeline.
Gebruiker -> Spraak naar ASR (Spraakherkenner) -> Woorden naar NLU
(Taalanalyse) -> Betekenis naar Dialoog Manager (Interacteert met de
gebruiker) -> Betekenis naar NLG (Taalgenerator) -> Woorden naar TTS
(Spraaksynthese) -> Spraak naar Gebruiker.
“Pure” spraakherkenning vaak slecht, werkt toch deels op basis van
verwachtingen.
TTS ofwel Spraaksynthese: Zet woorden om in spraak. Hoe gaat dat te werk?
Er zijn 40 fonemen in het Nederlands. Als je ‘kat’ door een computer wil laten
uitspreken werkt het niet om gewoon /k/ + /a/ + /t/ = khat = fout. Daarom moet
het anders opgelost worden.
Mogelijke oplossingen zijn:
1. Difonen (/k/ + /ka/ + /at/ + /t/ = goed). Zijn ongeveer 1200 difonen in
NL’se taal.
Nadelen: Klinkt onnatuurlijk en onmenselijk.
2. Frase concatenatie (Vooraf ingesproken tekst, opgeslagen in phrases,
bijvoorbeeld: “Het is een”, “Vergeet u niet uit te checken”, etc.)
Nadelen: Is heel bewerkelijk en steeds zelfde stem nodig.
Problemen van SUI’s in het algemeen:
1. Herkenbaarheidsfouten
a). Goats vs Sheeps
Goats: <15, >65, Vrouw, Limburgers Sheeps: 15-65, man, ABN
b). Hyperarticulatie (1st error = 18%, 2nd error is 40%)
2. Turn Management
a). Vertraging of juist te snel
b). “Out of Demain”.
3. Understandibility of Speech Synthesis (Verstaanbaarheid van TTS)
Verstaanbaarheid van TTS kan verbeterd worden door het toevoegen van een
gezicht (visualiseren). Dit komt door het cocktail-party effect. Bij
achtergrondgeluid kan men zich beter focussen op een tekst als er een gezicht
toegevoegd wordt.
Virtuele mensen: Natuurlijke taal + Visuele representatie (Bijv. een talking-
head).
Wanneer de interactie een gezicht is:
1. Mensen minder relaxed, open, minder zelf-verzekerd, positiever zelfbeeld
van zichzelf
2. Mannen vinden het leuker dan vrouwen
3. Te veel visuele expressies worden niet gewaardeerd
Hoe moet je visuele spraak maken?
Je neemt de fonemen uit de NL’se taal (40 fonemen): /a/, /o/, /u/ bijv.
De fonemen zet je om in visemen (zijn er ongeveer 12): keel, lip, tong, vooraan,
achteraan, bijv.
/a/ = wijd /o/ = tussenin /u/=bol
Coarticulatie: Uitspreken van klanken is afhankelijk van klanker ervoor.
Paul Ekman is expert op het gebied van Wenkbrauwbewegingen en heeft
FACS ontwikkeld.
Wenkbrauwbegewingen zijn cultuurgerelateerd.
Langzame bewegingen = Emoties = Duidelijk.
,Snelle bewegingen = Conversaties = Onduidelijk. Snelle
wenkbrauwbewegingen zijn belangrijk.
Linker wenkbrauwen worden vaker gebruikt dan rechter wenkbrauwen. Links dus
beter getraind.
Toonhoogte loopt bijna synchroon met Wenkbrauwbewegingen. Als mensen
hun handen niet bewegen gaan ze ook monotoner praten.
Hoe geef je een computer (talking-head) een persoonlijkheid mee?
Persoonlijkheid is belangrijk bij interactie. Het is vrij gemakkelijk om een
computer een persoonlijkheid mee te geven door de computer bepaalde
handelingen te laten ondergaan.
Dit doe je aan de hand van:
1. Stereotypen
2. Gebruik van non-verbale expressies
Als alle handelingen extravert zijn wordt een persoon niet als extreem extravert
gezien.
Lineaire interpolatie/Morphing Technieken: Om de mondbewegingen er niet
schokkerig te laten uitzien.
Fusion-module: Combineert informatie uit verschillende modaliteiten.
Bijvoorbeeld geschreven en gesproken medium.
Automatische Optische Karakterherkenning (OCR) = gedrukte boeken
kunnen automatisch volledig gedigitaliseerd worden.
Gutenberg project = grootschalig digitaliseringsproject. → moeten toch nog
gecorrigeerd worden.
Onderzoeksartikel HC 2 - Marsi & Rooden (2007)
Waarom zou een QA systeem onzekerheid uit willen drukken?
Ze bieden de kans om onzekerheid uit de drukken zonder te kijken naar de
linguistieke betekenis. Onzekerheid wordt beter uitgedrukt in audiovisuele
termen dan in woorden.
Onzekerheid:
Wenkbrauwen: Hoofd:
- Veel (onnodige) bewegingen - Veel (onnodige) bewegingen
- Opgaande wenkbrauwen met nieuwe - Zijwaartse beweging
(schudden) met
informatie nieuwe informatie
Zekerheid:
Wenkbrauwen: Hoofd:
- Weinig bewegingen - Weinig bewegingen
- Fronsen met nieuwe informatie - Knikken met nieuwe informatie
Hoorcollege 3 – Digitale communicatie in taal en beeld
Multimodaliteit: Er zijn meerdere soorten multimodale communicatie.
1. Geschreven medium
a). Verschillende codes
b). Taal, typografie, lay-out, grafiek en plaatjes.
2. Gesproken medium
a). Verschillende codes & kanalen
b). Spraak, auditieve & visuele prosodie: Intonatie, Spraaktempo &
kwaliteit, pauzes, gezichtsexpressies, hoofdbewegingen, oogbewegingen
en lichaamstaal & houding.
Bij volledige menselijke communicatie is er ook beeld vereist.
Digitalisering stimuleert multimodaliteit. Het voegt nieuwe dimensies toe aan
het geschreven medium.
, - Interactiviteit
- Integratie van informatiebronnen (Youtube, Skype, etc.)
- Integratie van semantische systemen
Digitalisering integreert het gesproken en geschreven medium.
Daarnaast vergroot het het belang van het visuele medium en zorgt het voor
een nieuwe agenda voor onderwijs en onderzoek.
Taal:
Voordelen Nadelen
Stabiele betekenis Taal condenseert betekenis
Abstractie maken van iets Grote interpretatieruimte mogelijk
Basisbetekenis heb je al Afhankelijk van kennis van
(Onderdeterminering) taalsystemen
Het is vaak kort & krachtig Taal is niet robuust
Beeld:
Voordelen Nadelen
Tekens (Symbolen) Instabiele betekenis
Bewerkelijker dan taal Neigt naar overdeterminering
Minder afhankelijk van kennis van Moeilijk voor complexe en abstracte
codesystemen concepten
Beeld lijkt robuuster x
Alles begint bij beeld. Beeld gaat vooraf aan taal. Analoge dingen eerst. Dit zie
je ook bij kinderen.
Ofwel: Ontogeny recapitulates Phylogeny. D.w.z.: Ontwikkeling van een
individu wordt afgezet tegen de ontwikkeling van een groep. Van
pictografische afbeeldingen naar abstractere vormen.
Schriftsystemen: Gingen van analoog (plaatjes) naar arbitrair (taal & tekst).
Denk aan de oudheid.
Visualisering is gekoppeld aan taal. De verwerking van tekst-
beeldcommunicaties kan op 2 manieren.
1. Dual-Coding theorie (Paivio). Verwerkingsproces gaat in 2 paden.
Verbale (propositionele representatie) en Visuele (mentale representatie)
input.
a). Mayer’s Cognitive Theory of Multimedia Learning (CTML)
= Verklarende plaatjes met kernachtige onderschriften levert meer op
dan alleen tekst en beeld
Multimedia = Tekst en beeld is beter dan tekst alleen
Contiguity = Presenteer tekst en beeld simultaan
Redundancy = Geen gesproken tekst en overlappende geschreven tekst
tegelijk
Coherence = Neem niet meer op dan nodig is
Modality = Tekst liever auditief dan visueel
Individual Differences = Effect afhankelijk van voorkennis, vaardigheden en
voorkeuren
Personalisation = Personaliseer animaties om de betrokkenheid te
verhogen
Signaling = Richt de aandacht op het juiste onderdeel van de animatie
Interaction = Interactie is beter dan geen interactie
Social Agency = Voeg een ‘social agent’ toe die het leren en de
betrokkenheid verhoogt
b). Schnotz’ geintegreerde model van tekst-beeldverwerking.
2. Cognitive Load Theory (Sweller)
Working memory is extreem klein. Het heft een visuele en verbale kamer.
Long Term Memory is in principe onbegrensd. Leren betekent dat kennis zijn
